hadoop伪分布式搭建实验报告，Hadoop伪分布式环境搭建实验报告

本文目录导读：

图片来源于网络，如有侵权联系删除

1. 实验目的
2. 实验环境
3. 实验步骤

实验目的

本次实验旨在了解Hadoop伪分布式环境搭建的步骤和原理，掌握Hadoop集群的配置与部署，为后续进行大数据处理和分析打下基础。

实验环境

1、操作系统：CentOS 7.5

2、Java环境：JDK 1.8

3、Hadoop版本：Hadoop 3.2.1

实验步骤

1、安装Java环境

（1）下载JDK 1.8安装包，解压到指定目录。

（2）配置环境变量，编辑.bash_profile文件，添加以下内容：

export JAVA_HOME=/usr/local/java/jdk1.8.0_241
export PATH=$JAVA_HOME/bin:$PATH

（3）使环境变量生效，执行以下命令：

图片来源于网络，如有侵权联系删除

source ~/.bash_profile

2、安装Hadoop

（1）下载Hadoop 3.2.1安装包，解压到指定目录。

（2）配置Hadoop环境变量，编辑.bash_profile文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-3.2.1
export PATH=$HADOOP_HOME/bin:$PATH

（3）使环境变量生效，执行以下命令：

source ~/.bash_profile

3、配置Hadoop

（1）编辑hadoop配置文件，位于$HADOOP_HOME/etc/hadoop目录下。

a. 配置Hadoop核心配置文件core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop-3.2.1/tmp</value>
    </property>
</configuration>

b. 配置HDFS配置文件hdfs-site.xml：

图片来源于网络，如有侵权联系删除

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop-3.2.1/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop-3.2.1/hdfs/datanode</value>
    </property>
</configuration>

c. 配置YARN配置文件yarn-site.xml：

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

4、格式化HDFS文件系统

hdfs dfs -format

5、启动Hadoop服务

start-dfs.sh
start-yarn.sh

6、验证Hadoop伪分布式环境

打开浏览器，访问http://localhost:9870/，查看HDFS网页界面；打开另一个终端，执行以下命令查看YARN资源管理器界面：

yarn application -list

通过本次实验，成功搭建了Hadoop伪分布式环境，掌握了Hadoop集群的配置与部署，在实际应用中，可以根据需求进行集群扩展，提高大数据处理和分析的能力，在后续学习中，将继续深入学习Hadoop生态圈相关技术，为我国大数据产业发展贡献力量。

标签： #hadoop伪分布式的搭建