本实验报告详细记录了Hadoop完全分布式集群的搭建过程。通过实际操作，实现了Hadoop集群的搭建，并对其性能进行了测试，验证了集群的稳定性和高效性。报告对搭建过程中遇到的问题进行了分析，并提出了相应的解决方案。
本文目录导读：
图片来源于网络，如有侵权联系删除
实验目的
本次实验旨在通过搭建一个Hadoop完全分布式集群，了解Hadoop分布式文件系统（HDFS）和Hadoop计算框架（MapReduce）的基本原理，掌握Hadoop集群的搭建方法，为后续的Hadoop应用开发打下基础。
实验环境
1、操作系统：CentOS 7.5
2、Hadoop版本：Hadoop 3.2.1
3、虚拟机：VMware Workstation 15
4、节点数量：3节点（1个NameNode，1个Secondary NameNode，1个DataNode）
实验步骤
1、准备工作
（1）在虚拟机上创建3个CentOS 7.5虚拟机，分别命名为Node1（NameNode）、Node2（Secondary NameNode）、Node3（DataNode）。
（2）在虚拟机中安装JDK 1.8，并配置环境变量。
（3）在虚拟机中安装SSH服务，并配置无密码登录。
2、集群搭建
（1）配置Node1（NameNode）
1）在Node1上创建hadoop用户和hadoop组，并设置密码。
2）下载Hadoop 3.2.1安装包，解压到指定目录。
3）进入Hadoop安装目录，修改hadoop-env.sh文件，设置JDK路径。
4）修改core-site.xml文件，配置HDFS的文件系统名称、存储路径等。
图片来源于网络，如有侵权联系删除
5）修改hdfs-site.xml文件，配置HDFS的副本数量、数据存储路径等。
6）修改mapred-site.xml文件，配置MapReduce的作业存储路径等。
7）修改slaves文件，添加DataNode节点IP地址。
8）格式化HDFS文件系统：hdfs namenode -format
9）启动HDFS：start-dfs.sh
（2）配置Node2（Secondary NameNode）
1）在Node2上创建hadoop用户和hadoop组，并设置密码。
2）将Node1上的Hadoop安装目录和配置文件复制到Node2上。
3）修改Node2上的core-site.xml和hdfs-site.xml文件，配置Secondary NameNode的配置信息。
4）启动Secondary NameNode：start-secondarynamenode.sh
（3）配置Node3（DataNode）
1）在Node3上创建hadoop用户和hadoop组，并设置密码。
2）将Node1上的Hadoop安装目录和配置文件复制到Node3上。
3）修改Node3上的core-site.xml和hdfs-site.xml文件，配置DataNode的配置信息。
4）启动DataNode：start-dfs.sh
图片来源于网络，如有侵权联系删除
5）启动YARN资源管理器：start-yarn.sh
6）启动MapReduce历史服务器：mr-jobhistory-daemon.sh start historyserver
3、验证集群
1）在Node1上查看HDFS文件系统：hdfs dfs -ls /
2）在Node3上上传文件到HDFS：hdfs dfs -put /etc/passwd /hadoop
3）在Node1上查看上传的文件：hdfs dfs -cat /hadoop/passwd
本次实验成功搭建了一个Hadoop完全分布式集群，掌握了Hadoop集群的搭建方法，通过实验，我们了解了HDFS和MapReduce的基本原理，为后续的Hadoop应用开发打下了基础。
在实验过程中，需要注意以下几点：
1、确保所有节点之间的SSH无密码登录配置正确。
2、修改配置文件时，注意文件路径和配置信息的正确性。
3、格式化HDFS文件系统时，需要停止NameNode和DataNode。
4、启动集群时，需要按照顺序启动各个组件。
5、验证集群时，可以通过查看HDFS文件系统、上传文件、查看文件等方式进行。
通过本次实验，我们对Hadoop集群的搭建有了更深入的了解，为今后的Hadoop应用开发积累了宝贵的经验。
标签： #Hadoop集群搭建
评论列表