hadoop分布式集群搭建完整教程，从零开始，Hadoop分布式集群搭建指南

本文目录导读：

1. 概述
2. 环境准备
3. 搭建步骤

概述

Hadoop是一款分布式计算框架，广泛应用于大数据处理，搭建Hadoop分布式集群是学习Hadoop的基础，本文将详细介绍Hadoop分布式集群的搭建过程，帮助读者轻松入门。

图片来源于网络，如有侵权联系删除

环境准备

1、操作系统：推荐使用CentOS 7.x或Ubuntu 18.04等Linux发行版。

2、软件包：JDK、Hadoop等。

3、网络环境：确保各节点之间可以互相通信。

搭建步骤

1、安装JDK

（1）下载JDK安装包：访问Oracle官网，下载适合Linux系统的JDK安装包。

（2）解压安装包：将下载的JDK安装包解压到指定目录，例如/usr/local。

（3）配置环境变量：编辑/etc/profile文件，添加以下内容：

export JAVA_HOME=/usr/local/jdk1.8.0_231
export PATH=$PATH:$JAVA_HOME/bin

（4）使环境变量生效：执行source /etc/profile命令。

2、安装Hadoop

（1）下载Hadoop安装包：访问Apache Hadoop官网，下载适合Linux系统的Hadoop安装包。

图片来源于网络，如有侵权联系删除

（2）解压安装包：将下载的Hadoop安装包解压到指定目录，例如/usr/local。

（3）配置Hadoop环境变量：编辑/etc/profile文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

（4）使环境变量生效：执行source /etc/profile命令。

3、配置Hadoop

（1）修改/usr/local/hadoop-3.2.1/etc/hadoop/hadoop-env.sh文件，设置JDK路径：

export JAVA_HOME=/usr/local/jdk1.8.0_231

（2）修改/usr/local/hadoop-3.2.1/etc/hadoop/core-site.xml文件，配置HDFS的存储路径：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop-3.2.1/tmp</value>
    </property>
</configuration>

（3）修改/usr/local/hadoop-3.2.1/etc/hadoop/hdfs-site.xml文件，配置HDFS的副本因子：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

（4）修改/usr/local/hadoop-3.2.1/etc/hadoop/yarn-site.xml文件，配置YARN的运行模式：

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

4、格式化HDFS

（1）在master节点上执行以下命令：

图片来源于网络，如有侵权联系删除

hadoop namenode -format

5、启动Hadoop集群

（1）在master节点上执行以下命令，启动NameNode：

start-dfs.sh

（2）在master节点上执行以下命令，启动ResourceManager：

start-yarn.sh

6、验证Hadoop集群

（1）在master节点上执行以下命令，进入HDFS文件系统：

hdfs dfs -ls /

（2）在master节点上执行以下命令，启动一个简单的MapReduce程序：

hadoop jar /usr/local/hadoop-3.2.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount /input /output

（3）在master节点上执行以下命令，查看MapReduce程序的执行结果：

hdfs dfs -cat /output/part-r-00000

本文详细介绍了Hadoop分布式集群的搭建过程，包括环境准备、安装JDK、安装Hadoop、配置Hadoop、格式化HDFS、启动Hadoop集群以及验证Hadoop集群等步骤，希望读者通过本文的学习，能够顺利搭建自己的Hadoop分布式集群。

标签： #hadoop分布式集群搭建