hadoop 伪分布式，Hadoop 伪分布式环境搭建详解及实践步骤

本文目录导读：

1. 搭建环境
2. 搭建步骤

Hadoop 作为一款开源的分布式计算框架，在处理海量数据方面具有显著优势，伪分布式环境搭建是学习Hadoop的第一步，本文将详细介绍Hadoop伪分布式环境搭建的步骤，帮助读者快速上手。

搭建环境

1、操作系统：Linux（本文以CentOS 7为例）

2、JDK：1.8及以上版本

图片来源于网络，如有侵权联系删除

3、Hadoop：本文以Hadoop 3.2.1版本为例

4、网络环境：确保三台虚拟机之间可以互相ping通

搭建步骤

1、准备工作

（1）下载Hadoop安装包：https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz

（2）解压Hadoop安装包：tar -xzf hadoop-3.2.1.tar.gz -C /opt/hadoop

（3）配置环境变量：在.bashrc文件中添加以下内容

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

保存退出，并执行source .bashrc使配置生效。

图片来源于网络，如有侵权联系删除

2、配置Hadoop

（1）修改hadoop-env.sh文件：在Hadoop根目录下的etc/hadoop/目录中找到hadoop-env.sh文件，并修改以下内容

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.x86_64

（2）修改core-site.xml文件：在Hadoop根目录下的etc/hadoop/目录中找到core-site.xml文件，并修改以下内容

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
</configuration>

（3）修改hdfs-site.xml文件：在Hadoop根目录下的etc/hadoop/目录中找到hdfs-site.xml文件，并修改以下内容

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

（4）修改mapred-site.xml文件：在Hadoop根目录下的etc/hadoop/目录中找到mapred-site.xml.template文件，并重命名为mapred-site.xml，修改以下内容

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

（5）修改yarn-site.xml文件：在Hadoop根目录下的etc/hadoop/目录中找到yarn-site.xml文件，并修改以下内容

<configuration>
    <property>
        <name>yarn.resourcemanager.host</name>
        <value>master</value>
    </property>
</configuration>

3、格式化HDFS

图片来源于网络，如有侵权联系删除

hdfs namenode -format

4、启动Hadoop服务

start-dfs.sh
start-yarn.sh

5、验证Hadoop伪分布式环境

在浏览器中输入http://master:9870/，可以查看HDFS的Web界面。

在浏览器中输入http://master:8088/，可以查看YARN的Web界面。

通过以上步骤，成功搭建了Hadoop伪分布式环境，在实际应用中，可以根据需要调整Hadoop配置，以满足不同的需求，希望本文对您有所帮助。

标签： #hadoop伪分布式搭建的步骤