hadoop完全分布式部署，hadoop3.3.6完全分布式搭建

欧气 2024年09月29日 05:22 1 0

标题：《深入解析 Hadoop 3.3.6 完全分布式搭建》

一、引言

随着大数据时代的到来，Hadoop 作为一个开源的分布式计算平台，已经成为了处理大规模数据的首选工具之一，本文将详细介绍如何搭建 Hadoop 3.3.6 完全分布式环境，包括环境准备、安装配置、启动与验证等步骤，通过本文的学习，读者将能够搭建一个稳定可靠的 Hadoop 分布式环境，并能够进行基本的大数据处理任务。

二、环境准备

1、操作系统：本文将以 CentOS 7 为例进行安装，其他操作系统也可以参考类似的步骤进行安装。

2、JDK：Hadoop 依赖于 Java 运行环境，因此需要先安装 JDK，建议安装 JDK 1.8 及以上版本。

3、SSH：为了实现节点之间的通信，需要在每台节点上安装 SSH 服务，并配置好 SSH 免密登录。

4、其他依赖：还需要安装一些其他的依赖，如 Python、GCC 等。

三、安装配置

1、下载 Hadoop 3.3.6：从 Hadoop 官方网站下载 Hadoop 3.3.6 版本的源代码，并将其解压到指定的目录下。

2、配置环境变量：将 Hadoop 安装目录的/bin 和/sbin 目录添加到系统的环境变量中，以便在命令行中直接使用 Hadoop 命令。

3、配置 core-site.xml：在 Hadoop 安装目录下的/etc/hadoop 目录中创建 core-site.xml 文件，并添加以下内容：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop-3.3.6/tmp</value>
    </property>
</configuration>

fs.defaultFS 表示默认的文件系统，namenode 表示 namenode 节点的主机名，9000 表示 namenode 节点的端口号，hadoop.tmp.dir 表示 Hadoop 临时目录的位置。

4、配置 hdfs-site.xml：在 Hadoop 安装目录下的/etc/hadoop 目录中创建 hdfs-site.xml 文件，并添加以下内容：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoop/hadoop-3.3.6/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/home/hadoop/hadoop-3.3.6/dfs/data</value>
    </property>
</configuration>

dfs.replication 表示数据块的副本数，namenode.name.dir 表示 namenode 节点的元数据存储目录，datanode.data.dir 表示 datanode 节点的数据存储目录。

5、配置 mapred-site.xml：在 Hadoop 安装目录下的/etc/hadoop 目录中创建 mapred-site.xml 文件，并添加以下内容：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

mapreduce.framework.name 表示 MapReduce 框架的名称。

6、配置 yarn-site.xml：在 Hadoop 安装目录下的/etc/hadoop 目录中创建 yarn-site.xml 文件，并添加以下内容：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>resourcemanager</value>
    </property>
</configuration>

yarn.nodemanager.aux-services 表示 nodemanager 节点需要启动的辅助服务，mapreduce_shuffle 表示 MapReduce 任务的 Shuffle 服务，yarn.resourcemanager.hostname 表示 resourcemanager 节点的主机名。

7、格式化 namenode：在 Hadoop 安装目录下的/bin 目录中执行以下命令，格式化 namenode：