hadoop伪分布式搭建全过程，从零开始，Hadoop伪分布式环境搭建全攻略

本文目录导读：

1. 环境准备
2. JDK安装
3. Hadoop安装
4. 启动Hadoop集群

随着大数据时代的到来，Hadoop作为一款强大的分布式数据处理框架，已经成为业界的热门话题，本文将详细讲解如何搭建一个Hadoop伪分布式环境，帮助您快速入门。

图片来源于网络，如有侵权联系删除

环境准备

1、操作系统：推荐使用Linux操作系统，如CentOS、Ubuntu等。

2、JDK：Hadoop需要JDK支持，版本建议为1.8。

3、Hadoop版本：本文以Hadoop 3.2.1版本为例。

JDK安装

1、下载JDK安装包：从Oracle官网下载JDK安装包。

2、解压安装包：使用tar命令解压安装包。

3、配置环境变量：在~/.bash_profile文件中添加以下内容：

export JAVA_HOME=/usr/local/jdk1.8.0_231
export PATH=$PATH:$JAVA_HOME/bin

4、使环境变量生效：执行source ~/.bash_profile命令。

5、验证JDK安装：在终端中输入java -version命令，查看JDK版本。

Hadoop安装

1、下载Hadoop安装包：从Apache官网下载Hadoop安装包。

图片来源于网络，如有侵权联系删除

2、解压安装包：使用tar命令解压安装包。

3、配置Hadoop环境变量：在~/.bash_profile文件中添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4、使环境变量生效：执行source ~/.bash_profile命令。

5、配置Hadoop配置文件：

（1）修改hadoop-env.sh文件：在Hadoop安装目录下的etc/hadoop目录中，编辑hadoop-env.sh文件，设置JDK路径。

export JAVA_HOME=/usr/local/jdk1.8.0_231

（2）修改core-site.xml文件：在Hadoop安装目录下的etc/hadoop目录中，编辑core-site.xml文件，配置Hadoop运行时的系统属性。

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop-3.2.1/tmp</value>
  </property>
</configuration>

（3）修改hdfs-site.xml文件：在Hadoop安装目录下的etc/hadoop目录中，编辑hdfs-site.xml文件，配置HDFS的副本因子和存储路径。

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop-3.2.1/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop-3.2.1/hdfs/datanode</value>
  </property>
</configuration>

（4）修改mapred-site.xml文件：在Hadoop安装目录下的etc/hadoop目录中，编辑mapred-site.xml文件，配置MapReduce的运行模式。

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

（5）修改yarn-site.xml文件：在Hadoop安装目录下的etc/hadoop目录中，编辑yarn-site.xml文件，配置YARN的运行模式。

图片来源于网络，如有侵权联系删除

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

启动Hadoop集群

1、格式化HDFS：在终端中执行以下命令，格式化HDFS文件系统。

hadoop namenode -format

2、启动HDFS：在终端中执行以下命令，启动HDFS。

start-dfs.sh

3、启动YARN：在终端中执行以下命令，启动YARN。

start-yarn.sh

4、查看Hadoop运行状态：在终端中执行以下命令，查看Hadoop运行状态。

jps

至此，Hadoop伪分布式环境搭建完成，您可以在终端中运行hadoop fs -ls命令，查看HDFS中的文件和目录，您还可以使用Hadoop自带的WordCount示例程序进行测试。

本文详细介绍了Hadoop伪分布式环境的搭建过程，包括环境准备、JDK安装、Hadoop安装和配置、启动Hadoop集群等步骤，通过本文的讲解，相信您已经成功搭建了一个Hadoop伪分布式环境，希望本文能对您的Hadoop学习之路有所帮助。

标签： #hadoop伪分布式的搭建