三台虚拟机搭建hadoop，深入浅出，三台虚拟机搭建Hadoop集群全攻略

本文目录导读：

图片来源于网络，如有侵权联系删除

1. 环境准备
2. 虚拟机配置
3. Hadoop集群搭建
4. 验证Hadoop集群

Hadoop作为一款分布式存储和计算框架，在处理大规模数据集方面具有显著优势，本文将详细讲解如何在三台虚拟机上搭建Hadoop集群，帮助读者快速掌握Hadoop的搭建与配置。

环境准备

1、操作系统：本文以CentOS 7.0为例，确保所有虚拟机操作系统版本一致。

2、JDK：安装JDK 1.8版本，确保JDK环境变量配置正确。

3、Hadoop：下载并解压Hadoop 3.3.1版本，确保Hadoop环境变量配置正确。

4、VMware：安装VMware Workstation 15，创建三台虚拟机。

虚拟机配置

1、创建三台虚拟机，分别命名为Node1、Node2、Node3。

2、配置网络：确保三台虚拟机在同一网络段，可以相互通信。

3、设置静态IP地址：分别为Node1、Node2、Node3设置静态IP地址，如下所示：

4、配置主机名：分别为Node1、Node2、Node3设置主机名为相应的IP地址。

Hadoop集群搭建

1、配置Node1为NameNode节点：

图片来源于网络，如有侵权联系删除

（1）在Node1上，将Hadoop解压到/home/hadoop目录下。

（2）编辑/etc/hosts文件，添加以下内容：

192、168.1.101 Node1
192、168.1.102 Node2
192、168.1.103 Node3

（3）编辑hadoop-env.sh文件，设置JDK路径：

export JAVA_HOME=/usr/local/java/jdk1.8.0_241

（4）编辑core-site.xml文件，设置Hadoop环境参数：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://Node1:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/data/tmp</value>
    </property>
</configuration>

（5）编辑hdfs-site.xml文件，设置HDFS参数：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoop/data/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/home/hadoop/data/hdfs/datanode</value>
    </property>
</configuration>

（6）格式化NameNode：

hdfs namenode -format

（7）启动NameNode：

start-dfs.sh

2、配置Node2和Node3为DataNode节点：

（1）在Node2和Node3上，将Hadoop解压到/home/hadoop目录下。

（2）将Node1上的/core-site.xml和hdfs-site.xml文件复制到Node2和Node3上。

图片来源于网络，如有侵权联系删除

（3）编辑hdfs-site.xml文件，设置HDFS参数：

<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
<property>
    <name>dfs.namenode.http-address</name>
    <value>Node1:50070</value>
</property>

（4）启动DataNode：

start-dfs.sh

3、配置YARN：

（1）编辑yarn-site.xml文件，设置YARN参数：

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>Node1</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

（2）启动YARN：

start-yarn.sh

验证Hadoop集群

1、访问NameNode Web界面：在浏览器中输入http://Node1:50070，查看Hadoop集群状态。

2、访问ResourceManager Web界面：在浏览器中输入http://Node1:8088，查看YARN集群状态。

3、运行Hadoop程序：在Node1上运行以下命令，查看Hadoop程序运行情况：

hadoop jar /share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount /input /output

本文详细讲解了在三台虚拟机上搭建Hadoop集群的步骤，包括环境准备、虚拟机配置、Hadoop集群搭建以及验证，通过本文的讲解，读者可以快速掌握Hadoop集群的搭建与配置，为后续的学习和应用打下基础。

标签： #hadoop集群3台虚拟机搭建完整教程