搭建hadoop伪分布式环境步骤，深入浅出，Hadoop伪分布式集群搭建与配置指南

本文目录导读：

1. 环境准备
2. 安装Java环境
3. 下载与解压Hadoop安装包
4. 配置Hadoop环境
5. 启动Hadoop集群

随着大数据时代的到来，Hadoop作为一款开源的大数据处理框架，已经成为了大数据领域的事实标准，而搭建Hadoop伪分布式集群是学习Hadoop的第一步，本文将详细讲解如何搭建Hadoop伪分布式集群，旨在帮助读者轻松入门Hadoop。

图片来源于网络，如有侵权联系删除

环境准备

在开始搭建Hadoop伪分布式集群之前，我们需要准备以下环境：

1、操作系统：Linux操作系统（推荐使用CentOS 7）

2、Java环境：Java版本为1.8或以上

3、软件包：Hadoop版本为3.2.1或以上

安装Java环境

1、下载Java安装包：前往Oracle官网下载Java安装包，选择与操作系统对应的版本。

2、解压安装包：将下载的Java安装包解压到指定目录，/usr/local/java

3、设置环境变量：在终端中执行以下命令，设置Java环境变量。

echo "export JAVA_HOME=/usr/local/java" >> /etc/profile
echo "export PATH=$JAVA_HOME/bin:$PATH" >> /etc/profile
source /etc/profile

下载与解压Hadoop安装包

1、下载Hadoop安装包：前往Apache Hadoop官网下载Hadoop安装包，选择与操作系统对应的版本。

2、解压安装包：将下载的Hadoop安装包解压到指定目录，/usr/local/hadoop

图片来源于网络，如有侵权联系删除

配置Hadoop环境

1、编辑hadoop-env.sh：进入Hadoop安装目录，编辑hadoop-env.sh文件，设置JAVA_HOME环境变量。

vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh

在文件中添加以下内容：

export JAVA_HOME=/usr/local/java

2、编辑core-site.xml：进入Hadoop安装目录，编辑core-site.xml文件，配置Hadoop的存储路径。

vi /usr/local/hadoop/etc/hadoop/core-site.xml

在文件中添加以下内容：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>
</configuration>

3、编辑hdfs-site.xml：进入Hadoop安装目录，编辑hdfs-site.xml文件，配置HDFS的存储路径。

vi /usr/local/hadoop/etc/hadoop/hdfs-site.xml

在文件中添加以下内容：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop/hdfs/datanode</value>
    </property>
</configuration>

4、编辑mapred-site.xml：进入Hadoop安装目录，编辑mapred-site.xml文件，配置MapReduce的运行模式。

vi /usr/local/hadoop/etc/hadoop/mapred-site.xml

在文件中添加以下内容：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

5、编辑yarn-site.xml：进入Hadoop安装目录，编辑yarn-site.xml文件，配置YARN的运行模式。

图片来源于网络，如有侵权联系删除

vi /usr/local/hadoop/etc/hadoop/yarn-site.xml

在文件中添加以下内容：

<configuration>
    <property>
        <name>yarn.resourcemanager.host</name>
        <value>localhost</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

启动Hadoop集群

1、格式化NameNode：在终端中执行以下命令，格式化NameNode。

hdfs namenode -format

2、启动HDFS：在终端中执行以下命令，启动HDFS。

start-dfs.sh

3、启动YARN：在终端中执行以下命令，启动YARN。

start-yarn.sh

4、查看Web界面：在浏览器中访问http://localhost:50070/，查看HDFS的Web界面；访问http://localhost:8088/，查看YARN的Web界面。

通过以上步骤，我们已经成功搭建了一个Hadoop伪分布式集群，我们可以学习Hadoop的相关知识，例如HDFS、MapReduce、YARN等，希望本文对您有所帮助！

标签： #配置开发环境 - hadoop安装与伪分布式集群搭建