本文目录导读：
图片来源于网络，如有侵权联系删除
实验目的
本次实验旨在掌握Hadoop分布式文件系统（HDFS）的搭建方法，了解Hadoop集群的架构与配置，并通过实际操作加深对Hadoop分布式计算框架的理解。
实验环境
1、操作系统：CentOS 7
2、Hadoop版本：Hadoop 3.2.1
3、虚拟机环境：VMware Workstation 15
实验步骤
1、准备实验环境
（1）在虚拟机中安装CentOS 7操作系统。
（2）配置网络，确保各节点间可以互相通信。
2、安装Hadoop
（1）下载Hadoop 3.2.1安装包，解压到指定目录。
（2）配置环境变量，使Hadoop命令可以在任意位置执行。
（3）配置Hadoop配置文件。
a. 修改hadoop-env.sh，设置Hadoop运行时的Java环境。
b. 修改core-site.xml，配置HDFS的存储路径和副本因子等。
c. 修改hdfs-site.xml，配置HDFS的副本因子和存储路径等。
d. 修改mapred-site.xml，配置MapReduce的运行模式等。
图片来源于网络，如有侵权联系删除
e. 修改yarn-site.xml，配置YARN的运行模式等。
3、配置集群
（1）创建用户组：hadoop
（2）创建用户：hadoop
（3）修改用户权限，使hadoop用户可以访问Hadoop目录。
（4）将Hadoop目录下的所有文件和文件夹的权限改为hadoop用户可读写。
4、启动集群
（1）格式化HDFS：hdfs namenode -format
（2）启动NameNode：start-dfs.sh
（3）启动SecondaryNameNode：start-secondarynamenode.sh
（4）启动ResourceManager：start-yarn.sh
（5）启动NodeManager：start-dfs.sh
5、验证集群
（1）查看NameNode的Web界面：http://node1:50070
（2）查看ResourceManager的Web界面：http://node1:8088
图片来源于网络，如有侵权联系删除
（3）查看NodeManager的Web界面：http://node2:50070
实验结果与分析
1、成功搭建Hadoop分布式集群，包括NameNode、SecondaryNameNode、ResourceManager和NodeManager。
2、集群运行正常，可以通过Web界面查看集群状态。
3、实验过程中，遇到的问题及解决方法：
a. 问题：无法启动NameNode。
解决方法：检查网络连接，确保NameNode节点可以正常通信。
b. 问题：HDFS文件无法上传。
解决方法：检查hdfs-site.xml中的存储路径配置是否正确，确保HDFS空间充足。
c. 问题：YARN任务无法运行。
解决方法：检查yarn-site.xml中的配置，确保YARN运行模式为集群模式。
本次实验成功搭建了基于Hadoop的分布式集群，掌握了Hadoop集群的配置与启动方法，通过实际操作，加深了对Hadoop分布式计算框架的理解，为以后的学习和应用打下了基础。
在实验过程中，遇到了一些问题，但通过查阅资料和尝试解决，最终成功解决了问题，这让我认识到，在实际工作中，遇到问题并不可怕，关键是要有解决问题的信心和方法。
本次实验让我受益匪浅，不仅掌握了Hadoop分布式集群的搭建方法，还提高了自己的动手能力和问题解决能力，在今后的学习和工作中，我会继续努力，不断提高自己的技能水平。
标签： #hadoop分布式集群搭建实验报告
评论列表