hadoop伪分布式搭建没有namenode，Hadoop伪分布式搭建指南，无需NameNode的简易配置教程

本文目录导读：

1. 搭建环境
2. 搭建Hadoop伪分布式环境
3. 测试Hadoop环境

Hadoop作为一款分布式大数据处理框架，广泛应用于各个领域，在搭建Hadoop环境时，我们可以选择伪分布式模式进行测试，伪分布式模式仅在一台机器上模拟集群环境，便于开发和测试，本文将介绍如何在Hadoop伪分布式搭建过程中，不配置NameNode，实现一个简易的Hadoop环境。

图片来源于网络，如有侵权联系删除

搭建环境

1、系统要求

操作系统：Linux（推荐使用CentOS 7）

Java：Java 1.8

Hadoop：Hadoop 3.x（本文以Hadoop 3.2.1为例）

2、安装Java

由于Hadoop依赖于Java，因此首先需要安装Java，以下是在CentOS 7上安装Java的步骤：

（1）添加Java yum源

sudo yum install -y epel-release

（2）安装Java

sudo yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel

（3）验证Java版本

java -version

3、安装Hadoop

图片来源于网络，如有侵权联系删除

（1）下载Hadoop

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz

（2）解压Hadoop

tar -zxvf hadoop-3.2.1.tar.gz -C /opt/

（3）配置环境变量

编辑/etc/profile 文件，添加以下内容：

export HADOOP_HOME=/opt/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

运行以下命令使配置生效：

source /etc/profile

搭建Hadoop伪分布式环境

1、修改Hadoop配置文件

进入Hadoop配置目录，修改以下文件：

（1）/opt/hadoop-3.2.1/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.252.x86_64

（2）/opt/hadoop-3.2.1/etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

（3）/opt/hadoop-3.2.1/etc/hadoop/hdfs-site.xml

图片来源于网络，如有侵权联系删除

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/opt/hadoop-3.2.1/data/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/hadoop-3.2.1/data/hdfs/datanode</value>
    </property>
</configuration>

（4）/opt/hadoop-3.2.1/etc/hadoop/yarn-site.xml

<configuration>
    <property>
        <name>yarn.resourcemanager.host</name>
        <value>localhost</value>
    </property>
</configuration>

2、格式化文件系统

hdfs namenode -format

3、启动Hadoop服务

start-dfs.sh
start-yarn.sh

测试Hadoop环境

1、创建HDFS目录

hdfs dfs -mkdir -p /user/hadoop

2、上传文件到HDFS

hdfs dfs -put /opt/hadoop-3.2.1/README.txt /user/hadoop

3、查看文件列表

hdfs dfs -ls /user/hadoop

4、退出Hadoop环境

stop-yarn.sh
stop-dfs.sh

本文介绍了如何在Hadoop伪分布式搭建过程中，不配置NameNode，实现一个简易的Hadoop环境，通过上述步骤，您可以快速搭建一个Hadoop测试环境，为后续的大数据应用开发奠定基础，在实际生产环境中，建议您根据实际情况进行配置，以提高系统的稳定性和性能。

标签： #hadoop伪分布式的搭建