hadoop 伪分布式，Hadoop 伪分布式环境搭建步骤详解

本文目录导读：

1. 概述
2. 环境准备
3. 搭建步骤

概述

Hadoop 是一个分布式计算框架，主要用于处理大规模数据集，伪分布式模式是 Hadoop 的入门级部署方式，通过在一台计算机上模拟分布式环境，使得用户可以在单机环境下学习和使用 Hadoop，本文将详细介绍 Hadoop 伪分布式环境搭建的步骤。

图片来源于网络，如有侵权联系删除

环境准备

1、操作系统：Linux 发行版，如 Ubuntu、CentOS 等。

2、Java 环境：Hadoop 需要 Java 运行环境，建议使用 Java 8。

3、数据盘：用于存储 Hadoop 数据。

4、软件包：Hadoop 安装包。

搭建步骤

1、安装 Java 环境

（1）下载 Java 安装包，jdk-8u171-linux-x64.tar.gz。

（2）解压安装包：tar -zxvf jdk-8u171-linux-x64.tar.gz。

（3）设置环境变量：编辑 /etc/profile 文件，添加以下内容：

export JAVA_HOME=/usr/local/java/jdk1.8.0_171
export PATH=$PATH:$JAVA_HOME/bin

（4）使环境变量生效：source /etc/profile。

（5）验证 Java 版本：java -version。

2、安装 Hadoop

图片来源于网络，如有侵权联系删除

（1）下载 Hadoop 安装包，hadoop-2.7.3.tar.gz。

（2）解压安装包：tar -zxvf hadoop-2.7.3.tar.gz。

（3）设置 Hadoop 配置文件：

a. 编辑 /usr/local/hadoop-2.7.3/etc/hadoop/hadoop-env.sh 文件，设置 Java 环境变量：

export JAVA_HOME=/usr/local/java/jdk1.8.0_171

b. 编辑 /usr/local/hadoop-2.7.3/etc/hadoop/core-site.xml 文件，配置 Hadoop 的工作目录：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

c. 编辑 /usr/local/hadoop-2.7.3/etc/hadoop/hdfs-site.xml 文件，配置 HDFS 的工作目录：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop-2.7.3/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop-2.7.3/hdfs/datanode</value>
    </property>
</configuration>

d. 编辑 /usr/local/hadoop-2.7.3/etc/hadoop/mapred-site.xml 文件，配置 MapReduce 的工作目录：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

e. 编辑 /usr/local/hadoop-2.7.3/etc/hadoop/yarn-site.xml 文件，配置 YARN 的工作目录：

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
</configuration>

3、格式化 HDFS

（1）进入 Hadoop 安装目录：cd /usr/local/hadoop-2.7.3。

（2）执行格式化命令：bin/hdfs namenode -format。

图片来源于网络，如有侵权联系删除

4、启动 Hadoop

（1）启动 NameNode：bin/hdfs namenode -format。

（2）启动 DataNode：bin/hdfs datanode。

（3）启动 ResourceManager：yarn-daemon.sh start resourcemanager。

（4）启动 NodeManager：yarn-daemon.sh start nodemanager。

5、验证 Hadoop 是否启动成功

（1）查看 Hadoop 进程：jps。

（2）访问 Hadoop Web 界面：http://localhost:50070/。

通过以上步骤，我们成功搭建了 Hadoop 伪分布式环境，在实际应用中，用户可以根据需求调整 Hadoop 配置，以便更好地满足数据处理需求，希望本文对您有所帮助。

标签： #hadoop伪分布式搭建的步骤