虚拟机搭建hadoop集群的步骤有哪些，虚拟机环境搭建Hadoop集群的详细步骤解析

本文目录导读：

1. 环境准备
2. 环境配置
3. 安装Java环境
4. 安装Hadoop
5. 配置Hadoop集群
6. 格式化NameNode
7. 启动Hadoop集群

环境准备

1、准备虚拟机：建议使用VMware Workstation或VirtualBox等虚拟机软件，创建3台虚拟机，分别用于Hadoop集群的NameNode、DataNode和Secondary NameNode。

2、操作系统：安装CentOS 7操作系统，版本选择64位。

3、网络设置：确保3台虚拟机的网络连接正常，配置静态IP地址，方便后续集群搭建。

图片来源于网络，如有侵权联系删除

环境配置

1、关闭防火墙和SELinux

（1）关闭防火墙：执行以下命令，将防火墙设置为禁用状态。

systemctl stop firewalld
systemctl disable firewalld

（2）关闭SELinux：执行以下命令，将SELinux设置为禁用状态。

setenforce 0

2、配置hosts文件

在每台虚拟机的/etc/hosts文件中添加以下内容，确保集群内部机器之间可以互相解析IP地址。

192、168.1.101 hadoop101
192、168.1.102 hadoop102
192、168.1.103 hadoop103

安装Java环境

1、下载Java安装包：从Oracle官网下载适用于CentOS 7的Java安装包，例如jdk-8u231-linux-x64.tar.gz。

2、解压安装包：将下载的Java安装包上传至虚拟机，并解压至/usr/local目录。

tar -zxf jdk-8u231-linux-x64.tar.gz -C /usr/local/

3、配置环境变量：编辑/etc/profile文件，添加以下内容。

图片来源于网络，如有侵权联系删除

export JAVA_HOME=/usr/local/jdk1.8.0_231
export PATH=$PATH:$JAVA_HOME/bin

4、使环境变量生效：执行以下命令。

source /etc/profile

安装Hadoop

1、下载Hadoop安装包：从Apache Hadoop官网下载适用于CentOS 7的Hadoop安装包，例如hadoop-3.3.1.tar.gz。

2、解压安装包：将下载的Hadoop安装包上传至虚拟机，并解压至/usr/local目录。

tar -zxf hadoop-3.3.1.tar.gz -C /usr/local/

3、配置Hadoop环境变量：编辑/etc/profile文件，添加以下内容。

export HADOOP_HOME=/usr/local/hadoop-3.3.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

4、使环境变量生效：执行以下命令。

source /etc/profile

配置Hadoop集群

1、配置hadoop-env.sh文件：在$HADOOP_HOME/etc/hadoop目录下，编辑hadoop-env.sh文件，配置Java环境。

export JAVA_HOME=/usr/local/jdk1.8.0_231

2、配置core-site.xml文件：在$HADOOP_HOME/etc/hadoop目录下，编辑core-site.xml文件，配置集群参数。

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop101:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop-3.3.1/tmp</value>
    </property>
</configuration>

3、配置hdfs-site.xml文件：在$HADOOP_HOME/etc/hadoop目录下，编辑hdfs-site.xml文件，配置HDFS参数。

图片来源于网络，如有侵权联系删除

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop-3.3.1/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop-3.3.1/hdfs/datanode</value>
    </property>
</configuration>

4、配置mapred-site.xml文件：在$HADOOP_HOME/etc/hadoop目录下，编辑mapred-site.xml文件，配置MapReduce参数。

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

5、配置yarn-site.xml文件：在$HADOOP_HOME/etc/hadoop目录下，编辑yarn-site.xml文件，配置YARN参数。

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop101</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

格式化NameNode

在NameNode所在的虚拟机（hadoop101）上，执行以下命令，格式化NameNode。

hadoop namenode -format

启动Hadoop集群

1、启动HDFS：在NameNode所在的虚拟机（hadoop101）上，执行以下命令。

start-dfs.sh

2、启动YARN：在每台虚拟机上，执行以下命令。

start-yarn.sh

3、查看Hadoop集群状态：在浏览器中访问http://hadoop101:8088/和http://hadoop101:8042/，查看HDFS和YARN的集群状态。

至此，虚拟机环境搭建Hadoop集群的步骤已经完成，后续可以按照需求进行Hadoop集群的配置、应用开发等操作。

标签： #虚拟机搭建hadoop集群的步骤