hadoop伪分布式环境搭建步骤，Hadoop伪分布式环境搭建全攻略，从零开始，轻松入门

本文目录导读：

1. 准备工作
2. Hadoop伪分布式环境搭建步骤

随着大数据时代的到来，Hadoop作为一款开源的大数据处理框架，已经成为各大企业、科研机构的首选，而搭建一个Hadoop伪分布式环境，是学习Hadoop的第一步，本文将详细讲解Hadoop伪分布式环境的搭建步骤，帮助读者轻松入门。

准备工作

1、下载Hadoop安装包：前往Apache官网（https://hadoop.apache.org/）下载适合自己操作系统的Hadoop版本。

2、准备一台服务器：选择一台配置较高的服务器，安装Linux操作系统（如CentOS 7）。

图片来源于网络，如有侵权联系删除

3、配置网络：确保服务器网络通畅，可以访问互联网。

4、安装JDK：Hadoop依赖Java运行环境，需安装JDK 1.7及以上版本。

Hadoop伪分布式环境搭建步骤

1、解压Hadoop安装包

将下载的Hadoop安装包解压到指定目录，

tar -zxvf hadoop-3.2.1.tar.gz -C /opt/hadoop

2、配置环境变量

编辑~/.bashrc文件，添加以下内容：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使环境变量生效：

source ~/.bashrc

3、配置Hadoop配置文件

图片来源于网络，如有侵权联系删除

进入Hadoop配置目录：

cd $HADOOP_HOME/etc/hadoop

（1）修改hadoop-env.sh文件，设置JDK路径：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.x86_64

（2）修改core-site.xml文件，配置Hadoop运行时的系统属性：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/data</value>
  </property>
</configuration>

（3）修改hdfs-site.xml文件，配置HDFS存储参数：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

（4）修改mapred-site.xml文件，配置MapReduce运行时的系统属性：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

（5）修改yarn-site.xml文件，配置YARN运行时的系统属性：

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
</configuration>

4、格式化HDFS文件系统

在Hadoop命令行中执行以下命令：

图片来源于网络，如有侵权联系删除

hdfs dfs -format

5、启动Hadoop服务

在Hadoop命令行中执行以下命令，启动HDFS和YARN服务：

start-dfs.sh
start-yarn.sh

6、验证Hadoop服务

在浏览器中输入以下地址，查看Hadoop Web界面：

http://localhost:50070

在浏览器中输入以下地址，查看YARN Web界面：

http://localhost:8088

至此，Hadoop伪分布式环境搭建完成。

本文详细讲解了Hadoop伪分布式环境的搭建步骤，希望对读者有所帮助，在实际应用中，可以根据需求对Hadoop进行优化和配置，以便更好地发挥其性能。

标签： #hadoop伪分布式环境搭建