hadoop完全分布式部署，Hadoop 3.3.6完全分布式集群搭建指南，从入门到精通

本文目录导读：

1. 环境准备
2. 集群规划
3. 集群搭建步骤

Hadoop作为大数据处理领域的重要技术，其完全分布式部署能够实现大规模数据处理能力，本文将详细讲解如何搭建Hadoop 3.3.6完全分布式集群，从环境准备到集群部署，旨在帮助读者从入门到精通。

环境准备

1、操作系统：Linux（推荐CentOS 7）

图片来源于网络，如有侵权联系删除

2、Java环境：JDK 1.8及以上版本

3、Hadoop版本：Hadoop 3.3.6

集群规划

1、集群规模：3台物理机（1台NameNode，1台Secondary NameNode，2台DataNode）

2、网络规划：所有节点之间能够互相通信

集群搭建步骤

1、配置主机名和IP地址

在所有节点上修改/etc/hosts文件，将节点IP地址和主机名对应起来。

192、168.1.101 node1
192、168.1.102 node2
192、168.1.103 node3

2、关闭防火墙和SELinux

在所有节点上执行以下命令关闭防火墙和SELinux：

systemctl stop firewalld
systemctl disable firewalld
setenforce 0

3、安装JDK

在所有节点上下载JDK 1.8及以上版本的安装包，解压到/usr/local/目录下，并配置环境变量。

cd /usr/local/
tar -zxvf jdk-8uXXX-linux-x64.tar.gz
vi /etc/profile

在/etc/profile文件中添加以下内容：

export JAVA_HOME=/usr/local/jdk1.8.0_XXX
export PATH=$PATH:$JAVA_HOME/bin

执行source /etc/profile使配置生效。

图片来源于网络，如有侵权联系删除

4、下载并解压Hadoop

在所有节点上下载Hadoop 3.3.6版本的安装包，解压到/usr/local/目录下。

cd /usr/local/
tar -zxvf hadoop-3.3.6.tar.gz
mv hadoop-3.3.6 hadoop

5、配置集群

（1）配置Hadoop环境变量

在所有节点上修改/etc/profile文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

执行source /etc/profile使配置生效。

（2）配置hadoop-env.sh

在/usr/local/hadoop/etc/hadoop/hadoop-env.sh文件中，设置JDK路径：

export JAVA_HOME=/usr/local/jdk1.8.0_XXX

（3）配置core-site.xml

在/usr/local/hadoop/etc/hadoop/core-site.xml文件中，配置集群的文件系统名称和HDFS的存储目录：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://node1:8020</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/data</value>
  </property>
</configuration>

（4）配置hdfs-site.xml

在/usr/local/hadoop/etc/hadoop/hdfs-site.xml文件中，配置HDFS的副本数量和存储目录：

图片来源于网络，如有侵权联系删除

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop/data/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop/data/hdfs/datanode</value>
  </property>
</configuration>

（5）配置slaves

在/usr/local/hadoop/etc/hadoop/slaves文件中，添加DataNode节点的主机名：

node2
node3

6、格式化NameNode

在NameNode节点上执行以下命令格式化HDFS：

hdfs namenode -format

7、启动集群

在所有节点上执行以下命令启动Hadoop集群：

start-dfs.sh
start-yarn.sh

8、验证集群

在任意节点上执行以下命令查看HDFS状态：

hdfs dfsadmin -report

在任意节点上执行以下命令查看YARN状态：

yarn rmadmin -report

至此，Hadoop 3.3.6完全分布式集群搭建完成。

标签： #hadoop3.3.6完全分布式搭建