hadoop集群伪分布式搭建实验报告，基于伪分布式架构的Hadoop集群搭建实验报告

本文目录导读：

1. 实验背景
2. 实验环境
3. 实验步骤

实验背景

随着大数据时代的到来，数据量呈爆炸式增长，如何高效地处理海量数据成为了当前信息技术领域的重要课题，Hadoop作为一款开源的大数据处理框架，因其分布式存储和计算能力而受到广泛关注，本实验旨在通过搭建一个伪分布式Hadoop集群，对Hadoop的基本功能进行验证，并了解其架构和工作原理。

实验环境

1、操作系统：CentOS 7.5

2、Hadoop版本：Hadoop 3.2.1

3、硬件环境：CPU 2.5GHz，内存 4GB，硬盘 100GB

图片来源于网络，如有侵权联系删除

实验步骤

1、安装JDK

在CentOS系统中，首先需要安装JDK，因为Hadoop依赖于Java运行环境，通过以下命令安装JDK：

yum install -y java-1.8.0-openjdk

2、安装Hadoop

（1）下载Hadoop安装包：从Apache Hadoop官网下载Hadoop 3.2.1版本安装包。

（2）解压安装包：将下载的Hadoop安装包解压到指定目录，如/opt/hadoop。

（3）配置环境变量：编辑~/.bashrc文件，添加以下内容：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使环境变量生效：

图片来源于网络，如有侵权联系删除

source ~/.bashrc

3、配置Hadoop

（1）修改hadoop-env.sh文件：在$HADOOP_HOME/etc/hadoop目录下，修改hadoop-env.sh文件，设置JDK路径：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.x86_64

（2）修改core-site.xml文件：在$HADOOP_HOME/etc/hadoop目录下，修改core-site.xml文件，配置Hadoop的存储目录：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop/data</value>
    </property>
</configuration>

（3）修改hdfs-site.xml文件：在$HADOOP_HOME/etc/hadoop目录下，修改hdfs-site.xml文件，配置HDFS的副本因子：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

（4）修改mapred-site.xml文件：在$HADOOP_HOME/etc/hadoop目录下，修改mapred-site.xml文件，配置MapReduce运行模式：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

（5）修改yarn-site.xml文件：在$HADOOP_HOME/etc/hadoop目录下，修改yarn-site.xml文件，配置YARN资源管理器：

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
</configuration>

4、格式化HDFS

图片来源于网络，如有侵权联系删除

在$HADOOP_HOME/sbin目录下，执行以下命令格式化HDFS：

hdfs namenode -format

5、启动Hadoop服务

在$HADOOP_HOME/sbin目录下，依次启动Hadoop服务：

start-dfs.sh
start-yarn.sh

6、验证Hadoop集群

在浏览器中输入http://localhost:9870，查看HDFS Web界面，若显示集群信息，则表示Hadoop集群搭建成功。

通过本次实验，我们成功搭建了一个伪分布式Hadoop集群，并了解了Hadoop的基本架构和工作原理，在实验过程中，我们学会了如何安装和配置Hadoop，以及如何启动和验证Hadoop集群，这对于我们进一步学习和应用Hadoop技术具有重要的意义，在今后的学习和工作中，我们将继续深入研究Hadoop，以便更好地应对大数据时代的挑战。

标签： #伪分布式hadoop集群搭建过程