hadoop伪分布式部署，深入浅出，Hadoop伪分布式环境搭建全攻略

本文目录导读：

1. 搭建环境
2. 验证搭建

随着大数据时代的到来，Hadoop作为一款开源的大数据处理框架，已成为业界共识，本文将详细介绍Hadoop伪分布式环境的搭建过程，旨在帮助初学者快速入门，掌握Hadoop的核心技术。

图片来源于网络，如有侵权联系删除

搭建环境

1、系统环境

操作系统：Linux（推荐CentOS 7）

Hadoop版本：Hadoop 3.x

Java版本：Java 8

2、安装步骤

（1）安装Java

确保系统中已安装Java，如果没有安装，可以通过以下命令安装：

sudo yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel

安装完成后，验证Java版本：

java -version

（2）安装Hadoop

下载Hadoop 3.x版本的安装包，解压到指定目录，例如/usr/local/hadoop。

图片来源于网络，如有侵权联系删除

设置环境变量：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

配置Hadoop配置文件：

（3）配置Hadoop

编辑/usr/local/hadoop/etc/hadoop/hadoop-env.sh文件，设置Java环境：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.292.x86_64

编辑/usr/local/hadoop/etc/hadoop/core-site.xml文件，配置Hadoop存储路径：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/data</value>
    </property>
</configuration>

编辑/usr/local/hadoop/etc/hadoop/hdfs-site.xml文件，配置HDFS存储路径：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop/data/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop/data/hdfs/data</value>
    </property>
</configuration>

编辑/usr/local/hadoop/etc/hadoop/mapred-site.xml文件，配置MapReduce：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

编辑/usr/local/hadoop/etc/hadoop/yarn-site.xml文件，配置YARN：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

（4）格式化HDFS

在配置文件修改完成后，格式化HDFS：

图片来源于网络，如有侵权联系删除

hdfs namenode -format

（5）启动Hadoop

启动Hadoop服务，包括HDFS和YARN：

start-dfs.sh
start-yarn.sh

验证搭建

1、查看HDFS状态

在浏览器中输入http://localhost:50070，查看HDFS状态。

2、查看YARN状态

在浏览器中输入http://localhost:8088，查看YARN状态。

本文详细介绍了Hadoop伪分布式环境的搭建过程，从系统环境、安装步骤到配置文件，一步步引导读者完成Hadoop的搭建，通过本文的学习，读者可以掌握Hadoop的核心技术，为后续的大数据处理打下基础。

标签： #hadoop伪分布式搭建全过程