hadoop分布式搭建步骤，Hadoop分布式集群搭建指南，从入门到精通

本文目录导读：

1. 环境准备
2. 配置主机名与IP地址
3. 安装JDK
4. 安装SSH服务
5. 安装Hadoop
6. 配置Hadoop
7. 格式化HDFS
8. 启动Hadoop集群

环境准备

1、服务器：选择2台以上的服务器，用于搭建Hadoop集群。

2、操作系统：推荐使用Linux操作系统，如CentOS 7。

3、Java环境：Hadoop需要Java环境，确保Java版本为1.8。

图片来源于网络，如有侵权联系删除

4、SSH免密登录：在所有服务器之间实现SSH免密登录，方便后续操作。

配置主机名与IP地址

1、在每台服务器上编辑/etc/hosts文件，添加以下内容：

<服务器IP地址> <主机名>

2、在每台服务器上编辑/etc/hostname文件，修改为主机名。

3、重启服务器，使配置生效。

安装JDK

1、下载JDK安装包，上传至服务器。

2、解压JDK安装包，如tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/local/

3、编辑/etc/profile文件，添加以下内容：

export JAVA_HOME=/usr/local/jdk1.8.0_231
export PATH=$PATH:$JAVA_HOME/bin

4、使配置生效：source /etc/profile

安装SSH服务

1、安装SSH服务：yum install openssh-server

2、启动SSH服务：systemctl start sshd

图片来源于网络，如有侵权联系删除

3、设置SSH服务开机自启：systemctl enable sshd

安装Hadoop

1、下载Hadoop安装包，上传至服务器。

2、解压Hadoop安装包，如tar -zxvf hadoop-3.2.1.tar.gz -C /usr/local/

3、编辑/etc/profile文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

4、使配置生效：source /etc/profile

配置Hadoop

1、编辑/usr/local/hadoop-3.2.1/etc/hadoop/hadoop-env.sh文件，设置JDK路径：

export JAVA_HOME=/usr/local/jdk1.8.0_231

2、编辑/usr/local/hadoop-3.2.1/etc/hadoop/core-site.xml文件，配置集群名称和HDFS存储目录：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop-3.2.1/tmp</value>
  </property>
</configuration>

3、编辑/usr/local/hadoop-3.2.1/etc/hadoop/hdfs-site.xml文件，配置HDFS副本因子：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
</configuration>

4、编辑/usr/local/hadoop-3.2.1/etc/hadoop/yarn-site.xml文件，配置YARN资源管理器：

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
  </property>
</configuration>

5、编辑/usr/local/hadoop-3.2.1/etc/hadoop/mapred-site.xml文件，配置MapReduce：

图片来源于网络，如有侵权联系删除

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

格式化HDFS

1、在master节点上执行以下命令：

hdfs namenode -format

2、格式化完成后，退出并重新启动Hadoop服务。

启动Hadoop集群

1、在master节点上启动NameNode：

start-dfs.sh

2、在master节点上启动ResourceManager：

start-yarn.sh

3、在所有节点上启动NodeManager：

start-dfs.sh

4、在所有节点上启动HistoryServer：

yarn-daemon.sh start historyserver

至此，Hadoop分布式集群搭建完成，您可以使用Hadoop自带的WordCount程序进行测试，确保集群正常运行。

标签： #hadoop分布式集群搭建教程详细