hadoop伪分布式搭建全过程，Hadoop伪分布式环境搭建详解，从零开始构建大数据处理平台

本文目录导读：

1. 搭建环境
2. 启动Hadoop服务

随着大数据时代的到来，Hadoop作为一款开源的大数据处理框架，已成为业界处理海量数据的利器，伪分布式环境是Hadoop入门级环境，通过单台机器模拟集群环境，便于学习和测试，本文将详细介绍Hadoop伪分布式环境的搭建过程，帮助读者从零开始构建自己的大数据处理平台。

搭建环境

1、系统要求

- 操作系统：Linux（推荐CentOS 7）

- JDK：Java Development Kit 1.8或以上版本

图片来源于网络，如有侵权联系删除

- Hadoop：Hadoop 3.x版本

2、安装步骤

（1）安装JDK

通过yum命令安装JDK：

sudo yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel

安装完成后，验证JDK版本：

java -version

确保JDK版本为1.8或以上。

（2）下载Hadoop

从Hadoop官网下载对应版本的安装包，例如Hadoop 3.2.1：

wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz

解压安装包：

tar -zxvf hadoop-3.2.1.tar.gz -C /opt/hadoop/

重命名Hadoop目录：

mv /opt/hadoop/hadoop-3.2.1 /opt/hadoop/hadoop

（3）配置环境变量

编辑~/.bash_profile文件，添加以下内容：

图片来源于网络，如有侵权联系删除

export HADOOP_HOME=/opt/hadoop/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使配置生效：

source ~/.bash_profile

验证Hadoop版本：

hadoop version

确保版本为Hadoop 3.2.1。

（4）配置Hadoop

进入Hadoop安装目录，编辑etc/hadoop/hadoop-env.sh文件，设置JDK路径：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.252.x86_64

（5）配置core-site.xml

编辑etc/hadoop/core-site.xml文件，添加以下内容：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/data</value>
  </property>
</configuration>

（6）配置hdfs-site.xml

编辑etc/hadoop/hdfs-site.xml文件，添加以下内容：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

（7）配置mapred-site.xml

编辑etc/hadoop/mapred-site.xml文件，添加以下内容：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

（8）配置yarn-site.xml

图片来源于网络，如有侵权联系删除

编辑etc/hadoop/yarn-site.xml文件，添加以下内容：

<configuration>
  <property>
    <name>yarn.resourcemanager.host</name>
    <value>localhost</value>
  </property>
</configuration>

启动Hadoop服务

1、格式化HDFS

hdfs namenode -format

2、启动HDFS

start-dfs.sh

3、启动YARN

start-yarn.sh

4、验证Hadoop服务

通过浏览器访问HDFS Web UI：http://localhost:50070

通过命令行访问YARN ResourceManager：http://localhost:8088

至此，Hadoop伪分布式环境搭建完成。

本文详细介绍了Hadoop伪分布式环境的搭建过程，包括系统要求、安装步骤、配置环境变量、配置Hadoop以及启动Hadoop服务，通过本文的指导，读者可以轻松构建自己的Hadoop大数据处理平台，为后续学习Hadoop技术打下坚实基础。

标签： #hadoop伪分布式环境搭建步骤