hadoop伪分布式部署，深入解析Hadoop伪分布式搭建全流程，从入门到精通

本文目录导读：

1. 环境准备
2. 搭建步骤

Hadoop作为一款开源的大数据处理框架，已经广泛应用于各个领域，在学习和使用Hadoop的过程中，搭建一个Hadoop伪分布式环境是必不可少的，本文将详细解析Hadoop伪分布式搭建全过程，帮助读者从入门到精通。

环境准备

1、操作系统：Linux（推荐CentOS 7）

2、Java环境：JDK 1.8

图片来源于网络，如有侵权联系删除

3、网络环境：确保所有节点之间可以互相ping通

4、软件版本：Hadoop 3.2.1

搭建步骤

1、安装Java环境

确保系统已经安装了JDK 1.8，可以使用以下命令检查Java版本：

java -version

如果版本不是1.8，则需要手动安装JDK 1.8，以下是在CentOS 7上安装JDK 1.8的步骤：

（1）下载JDK 1.8安装包

wget https://download.oracle.com/java/17/latest/jdk-17_linux-x64_bin.tar.gz

（2）解压安装包

tar -xvf jdk-17_linux-x64_bin.tar.gz

（3）配置环境变量

编辑/etc/profile文件，添加以下内容：

export JAVA_HOME=/usr/local/java/jdk1.8.0_321
export PATH=$PATH:$JAVA_HOME/bin

保存并退出文件，然后执行以下命令使配置生效：

source /etc/profile

2、安装Hadoop

（1）下载Hadoop 3.2.1安装包

图片来源于网络，如有侵权联系删除

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz

（2）解压安装包

tar -xvf hadoop-3.2.1.tar.gz

（3）配置Hadoop环境变量

编辑/etc/profile文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存并退出文件，然后执行以下命令使配置生效：

source /etc/profile

3、配置Hadoop

（1）修改core-site.xml文件

编辑$HADOOP_HOME/etc/hadoop/core-site.xml文件，添加以下内容：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/hadoop-3.2.1/tmp</value>
    </property>
</configuration>

（2）修改hdfs-site.xml文件

编辑$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件，添加以下内容：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop/hadoop-3.2.1/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop/hadoop-3.2.1/hdfs/datanode</value>
    </property>
</configuration>

（3）修改mapred-site.xml文件

编辑$HADOOP_HOME/etc/hadoop/mapred-site.xml文件，添加以下内容：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

（4）修改yarn-site.xml文件

图片来源于网络，如有侵权联系删除

编辑$HADOOP_HOME/etc/hadoop/yarn-site.xml文件，添加以下内容：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>localhost:8032</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

4、格式化NameNode

在Hadoop目录下执行以下命令格式化NameNode：

hdfs namenode -format

5、启动Hadoop服务

（1）启动HDFS

start-dfs.sh

（2）启动YARN

start-yarn.sh

6、验证Hadoop伪分布式环境

在浏览器中访问以下地址，查看HDFS Web界面：

http://localhost:50070

在浏览器中访问以下地址，查看YARN Web界面：

http://localhost:8088

本文详细解析了Hadoop伪分布式搭建全过程，包括环境准备、安装步骤和配置步骤，通过本文的学习，读者可以掌握Hadoop伪分布式搭建方法，为后续学习和使用Hadoop打下坚实基础。

标签： #hadoop伪分布式搭建全过程