本文目录导读：
图片来源于网络，如有侵权联系删除
随着大数据时代的到来，Hadoop作为一款开源的大数据处理框架，得到了广泛的应用，为了深入了解Hadoop的架构和原理，提高自己的大数据处理能力，我们进行了一次Hadoop完全分布式集群的搭建实验，本文将详细记录实验过程，并对实验结果进行总结。
实验环境
1、操作系统：CentOS 7.5
2、Java版本：1.8.0_251
3、Hadoop版本：3.2.1
实验步骤
1、环境准备
（1）安装Java：在所有节点上安装Java，确保Java环境变量配置正确。
（2）安装SSH：在所有节点上安装SSH，实现节点间的无密码登录。
（3）安装Hadoop：在所有节点上解压Hadoop安装包，并设置环境变量。
2、配置集群
（1）配置Hadoop配置文件
在Hadoop的安装目录下，找到etc/hadoop目录，编辑以下文件：
- core-site.xml：配置Hadoop运行时使用的系统属性。
- hdfs-site.xml：配置HDFS的相关属性。
- mapred-site.xml：配置MapReduce的相关属性。
- yarn-site.xml：配置YARN的相关属性。
图片来源于网络，如有侵权联系删除
（2）配置SSH免密登录
在所有节点上生成密钥对，并将公钥复制到其他节点上，实现无密码登录。
（3）格式化HDFS
在NameNode节点上执行以下命令格式化HDFS：
hdfs namenode -format
3、启动集群
（1）启动NameNode
在NameNode节点上执行以下命令启动NameNode：
start-dfs.sh
（2）启动Secondary NameNode
在NameNode节点上执行以下命令启动Secondary NameNode：
start-secondarynamenode.sh
（3）启动DataNode
在所有DataNode节点上执行以下命令启动DataNode：
start-dfs.sh
图片来源于网络，如有侵权联系删除
（4）启动ResourceManager
在ResourceManager节点上执行以下命令启动ResourceManager：
start-yarn.sh
（5）启动NodeManager
在所有NodeManager节点上执行以下命令启动NodeManager：
start-yarn.sh
实验结果与分析
1、集群启动成功
通过SSH连接到各个节点，查看日志文件，确认集群已成功启动。
2、HDFS文件系统
在HDFS上创建一个文件，通过命令行查看文件信息，确认HDFS文件系统正常运行。
3、YARN资源调度
在YARN上提交一个MapReduce作业，查看作业的运行状态，确认YARN资源调度功能正常。
本次实验成功搭建了一个Hadoop完全分布式集群，通过实验，我们了解了Hadoop的架构和原理，掌握了Hadoop集群的搭建过程，在实验过程中，我们遇到了一些问题，如SSH免密登录、配置文件等，通过查阅资料和请教老师，最终解决了这些问题，通过本次实验，我们提高了自己的大数据处理能力，为以后的工作和学习打下了坚实的基础。
标签： #hadoop完全分布式集群搭建
评论列表