hadoop完全分布式搭建步骤，Hadoop 3.3.6完全分布式环境搭建指南

本文目录导读：

1. 环境准备
2. 集群规划
3. 配置文件修改
4. 启动集群
5. 测试集群
6. 故障排查

环境准备

1、操作系统：Linux（推荐CentOS 7）

2、Java环境：JDK 1.8

图片来源于网络，如有侵权联系删除

3、Hadoop版本：Hadoop 3.3.6

集群规划

1、Master节点：1台

2、Slaves节点：N台（N为集群节点数）

配置文件修改

1、Master节点配置文件

（1）/etc/profile：添加以下内容

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.292.x86_64
export PATH=$PATH:$JAVA_HOME/bin

（2）/etc/hadoop/hadoop-env.sh：修改以下内容

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.292.x86_64

（3）/etc/hadoop/core-site.xml：添加以下内容

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
</configuration>

（4）/etc/hadoop/hdfs-site.xml：添加以下内容

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
</configuration>

2、Slaves节点配置文件

图片来源于网络，如有侵权联系删除

（1）/etc/hadoop/core-site.xml：添加以下内容

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
</configuration>

（2）/etc/hadoop/hdfs-site.xml：添加以下内容

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
</configuration>

启动集群

1、格式化NameNode

hdfs namenode -format

2、启动HDFS

start-dfs.sh

3、启动YARN

start-yarn.sh

4、查看集群状态

- HDFS状态：http://master:50070/

- YARN状态：http://master:8088/

测试集群

1、创建测试文件

图片来源于网络，如有侵权联系删除

hdfs dfs -put /etc/passwd /user/hadoop/testfile

2、查看文件

hdfs dfs -cat /user/hadoop/testfile

输出结果应为/etc/passwd 文件的内容。

故障排查

1、确保所有节点之间网络畅通。

2、检查防火墙设置，确保相关端口（如：9000、50070、8088等）未被阻止。

3、检查集群配置文件，确保参数设置正确。

4、查看日志文件，定位故障原因。

通过以上步骤，您已成功搭建Hadoop 3.3.6完全分布式环境，在实际应用中，您可以根据需求调整集群规模和配置，祝您使用愉快！

标签： #hadoop3.3.6完全分布式搭建