本文目录导读：
实验背景
随着大数据时代的到来，Hadoop作为一款分布式存储和处理框架，被广泛应用于各个领域，为了更好地理解Hadoop集群的架构和运行原理，本实验报告旨在搭建一个Hadoop集群的伪分布式环境，并对其实际运行性能进行评估。
实验环境
1、操作系统：CentOS 7.5
2、Hadoop版本：Hadoop 3.2.1
3、硬件配置：CPU 4核，内存8GB，硬盘1TB
图片来源于网络，如有侵权联系删除
实验步骤
1、安装Java环境
由于Hadoop依赖于Java环境，因此首先需要在集群中安装Java，通过以下命令安装Java：
sudo yum install java-1.8.0-openjdk
2、下载Hadoop安装包
从Hadoop官网下载Hadoop 3.2.1版本的安装包，并将其上传到集群的任意节点上。
3、解压安装包
将Hadoop安装包解压到指定目录，
tar -zxvf hadoop-3.2.1.tar.gz -C /opt/hadoop
4、配置Hadoop环境变量
编辑/etc/profile 文件，添加以下内容：
export HADOOP_HOME=/opt/hadoop/hadoop-3.2.1 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
然后执行source /etc/profile 命令使配置生效。
5、配置Hadoop配置文件
图片来源于网络，如有侵权联系删除
在Hadoop安装目录下的etc/hadoop 目录中，修改以下配置文件：
（1）hadoop-env.sh：配置Java环境变量。
（2）core-site.xml：配置Hadoop运行时的基本参数，如Hadoop的临时目录、HDFS的存储路径等。
（3）hdfs-site.xml：配置HDFS的副本因子、块大小等参数。
（4）mapred-site.xml：配置MapReduce的运行参数，如MapReduce的临时目录、作业跟踪器等。
（5）yarn-site.xml：配置YARN的运行参数，如资源管理器、节点管理器等。
6、格式化HDFS文件系统
在Hadoop的根目录下执行以下命令格式化HDFS文件系统：
hdfs namenode -format
7、启动Hadoop集群
在Hadoop的根目录下执行以下命令启动Hadoop集群：
图片来源于网络，如有侵权联系删除
./sbin/start-all.sh
可以通过浏览器访问http://localhost:50070 查看HDFS的Web界面。
实验结果与分析
1、HDFS文件系统
在HDFS的Web界面中，可以看到HDFS的存储空间、已用空间、可用空间等信息，通过执行hdfs dfs -ls / 命令，可以查看HDFS根目录下的文件和文件夹。
2、MapReduce作业
在Hadoop的根目录下创建一个简单的WordCount示例，并执行以下命令运行作业：
hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount /input /output
在Hadoop的根目录下执行以下命令查看作业日志：
cat /opt/hadoop/logs/mapred-root-localhost.log
3、YARN资源管理器
在YARN的Web界面中，可以查看集群的资源使用情况、应用程序运行情况等，通过执行以下命令查看应用程序的运行状态：
yarn application -list
通过本次实验，成功搭建了一个Hadoop集群的伪分布式环境，并对其实际运行性能进行了评估，实验结果表明，Hadoop集群可以有效地处理大规模数据，具有高可靠性和可扩展性，在今后的学习和工作中，我们将继续深入研究Hadoop集群的架构和运行原理，以提高数据处理效率。
标签： #hadoop集群伪分布式搭建实验报告
评论列表