hadoop伪分布式集群搭建过程，hadoop分布式与伪分布式集群搭建

欧气 2024年09月27日 10:47 2 0

标题：Hadoop 伪分布式集群搭建详细指南

一、引言

Hadoop 是一个开源的分布式计算框架，用于处理大规模数据，Hadoop 伪分布式集群是在单机上模拟分布式环境，方便开发和测试 Hadoop 应用程序，本文将详细介绍 Hadoop 伪分布式集群的搭建过程，包括环境准备、下载安装、配置文件修改、启动和停止集群等步骤。

二、环境准备

1、操作系统：Hadoop 伪分布式集群可以在大多数操作系统上运行，如 Linux、Mac OS 和 Windows，本文将以 Linux 操作系统为例进行介绍。

2、JDK：Hadoop 需要 Java 运行环境，因此需要先安装 JDK，本文将使用 JDK 1.8 版本。

3、SSH 服务：Hadoop 伪分布式集群需要通过 SSH 协议进行节点之间的通信，因此需要先安装 SSH 服务，本文将使用 OpenSSH 服务。

三、下载安装

1、下载 Hadoop：可以从 Hadoop 官方网站下载 Hadoop 压缩包，本文将下载 Hadoop 2.7.7 版本。

2、解压 Hadoop：将下载的 Hadoop 压缩包解压到指定目录，本文将解压到 /usr/local/hadoop 目录。

3、配置环境变量：将 Hadoop 安装目录添加到环境变量中，以便在命令行中直接使用 Hadoop 命令，本文将在 /etc/profile 文件中添加以下内容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4、启动 SSH 服务：在 Linux 操作系统中，可以使用以下命令启动 SSH 服务：

systemctl start sshd

四、配置文件修改

1、修改 core-site.xml 文件：core-site.xml 是 Hadoop 的核心配置文件，用于设置 Hadoop 的基本属性，本文将修改 core-site.xml 文件，添加以下内容：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>
</configuration>

2、修改 hdfs-site.xml 文件：hdfs-site.xml 是 Hadoop 的 HDFS 配置文件，用于设置 HDFS 的属性，本文将修改 hdfs-site.xml 文件，添加以下内容：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

3、修改 mapred-site.xml 文件：mapred-site.xml 是 Hadoop 的 MapReduce 配置文件，用于设置 MapReduce 的属性，本文将修改 mapred-site.xml 文件，添加以下内容：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

4、修改 yarn-site.xml 文件：yarn-site.xml 是 Hadoop 的 YARN 配置文件，用于设置 YARN 的属性，本文将修改 yarn-site.xml 文件，添加以下内容：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

5、修改 slaves 文件：slaves 文件是 Hadoop 的节点配置文件，用于设置 Hadoop 的节点列表，本文将修改 slaves 文件，添加以下内容：