hadoop完全分布式集群搭建全过程，Hadoop完全分布式集群搭建全攻略，从基础环境到集群部署

本文目录导读：

1. 基础环境准备
2. 集群部署
3. 配置优化

随着大数据时代的到来，Hadoop作为一款分布式计算框架，已经成为处理海量数据的重要工具，本文将详细介绍Hadoop完全分布式集群的搭建过程，包括基础环境准备、集群部署、配置优化等环节，旨在帮助读者快速掌握Hadoop集群搭建技巧。

基础环境准备

1、硬件环境

图片来源于网络，如有侵权联系删除

（1）服务器：至少需要3台服务器，用于搭建NameNode、DataNode和SecondaryNameNode。

（2）操作系统：推荐使用CentOS 7.0以上版本。

（3）网络环境：服务器之间网络畅通，确保各节点间能够相互通信。

2、软件环境

（1）Java环境：Hadoop需要Java环境，版本为1.8或更高。

（2）SSH免密登录：确保各服务器之间能够通过SSH免密登录，方便集群管理。

（3）Hadoop：下载最新版本的Hadoop，解压到指定目录。

集群部署

1、修改主机名和IP地址

（1）进入服务器配置文件：vi /etc/hosts

（2）添加以下内容（以三台服务器为例）：

10、0.0.1 hadoop1
10、0.0.2 hadoop2
10、0.0.3 hadoop3

（3）重启网络服务：systemctl restart network

2、配置SSH免密登录

（1）在每台服务器上生成密钥对：ssh-keygen -t rsa

图片来源于网络，如有侵权联系删除

（2）将公钥复制到其他服务器：ssh-copy-id hadoop1

3、配置Hadoop环境变量

（1）在每台服务器上创建环境变量配置文件：vi /etc/profile.d/hadoop.sh

（2）添加以下内容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

（3）使配置生效：source /etc/profile.d/hadoop.sh

4、配置Hadoop

（1）进入Hadoop配置目录：cd $HADOOP_HOME/etc/hadoop

（2）修改配置文件：

配置集群名称
vi core-site.xml
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://hadoop1:8020</value>
</property>
配置HDFS存储目录
vi hdfs-site.xml
<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>/usr/local/hadoop/hdfs/namenode</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>/usr/local/hadoop/hdfs/datanode</value>
</property>
配置YARN
vi yarn-site.xml
<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>hadoop1</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>

5、格式化NameNode

（1）进入Hadoop命令行：hadoop namenode -format

（2）等待格式化完成，该过程会删除HDFS存储目录下的所有文件。

6、启动Hadoop服务

（1）启动NameNode：start-dfs.sh

图片来源于网络，如有侵权联系删除

（2）启动SecondaryNameNode：start-yarn.sh

（3）启动YARN：yarn-daemon.sh start resourcemanager

（4）启动NodeManager：yarn-daemon.sh start nodemanager

配置优化

1、调整HDFS存储目录权限

（1）进入HDFS存储目录：cd /usr/local/hadoop/hdfs

（2）修改目录权限：chown -R hadoop:hadoop .

2、调整YARN资源分配

（1）进入YARN配置目录：cd $HADOOP_HOME/etc/hadoop

（2）修改配置文件：vi yarn-site.xml

（3）添加以下内容：

<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>4096</value>
</property>
<property>
  <name>yarn.nodemanager.resource.cpu-vcores</name>
  <value>4</value>
</property>

（4）重启YARN服务：stop-yarn.sh 和start-yarn.sh

本文详细介绍了Hadoop完全分布式集群的搭建过程，包括基础环境准备、集群部署和配置优化等环节，通过本文的学习，读者可以快速掌握Hadoop集群搭建技巧，为后续大数据处理打下坚实基础。

标签： #hadoop完全分布式集群搭建