虚拟机搭建hadoop集群的步骤，Hadoop集群在四台虚拟机上的搭建步骤详解

本文目录导读：

图片来源于网络，如有侵权联系删除

1. 环境准备
2. 配置虚拟机
3. 安装Java环境
4. 安装Hadoop
5. 配置Hadoop集群
6. 启动Hadoop集群
7. 验证集群状态

环境准备

1、操作系统：建议选择CentOS 7.6或更高版本。

2、Java：Hadoop依赖Java运行环境，确保Java版本为1.8。

3、虚拟机：搭建四台虚拟机，分别为NameNode、DataNode、ResourceManager、NodeManager。

配置虚拟机

1、网络配置：确保四台虚拟机可以相互通信，可以使用桥接或NAT模式。

2、时间同步：使用NTP服务实现时间同步，保证集群稳定运行。

3、关闭防火墙和selinux：为了方便集群搭建，关闭防火墙和selinux。

安装Java环境

1、下载Java安装包：访问Oracle官网下载Java 8安装包。

2、解压安装包：将下载的Java安装包解压到指定目录。

3、配置环境变量：编辑~/.bash_profile文件，添加以下内容：

图片来源于网络，如有侵权联系删除

export JAVA_HOME=/usr/local/java
export PATH=$PATH:$JAVA_HOME/bin

4、使环境变量生效：执行source ~/.bash_profile。

安装Hadoop

1、下载Hadoop安装包：访问Apache Hadoop官网下载适合自己操作系统的Hadoop版本。

2、解压安装包：将下载的Hadoop安装包解压到指定目录。

3、配置Hadoop环境变量：编辑~/.bash_profile文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

4、使环境变量生效：执行source ~/.bash_profile。

配置Hadoop集群

1、配置hadoop-env.sh：编辑$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件，设置Java环境：

export JAVA_HOME=/usr/local/java

2、配置core-site.xml：编辑$HADOOP_HOME/etc/hadoop/core-site.xml文件，设置Hadoop运行时的基本参数：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
  </property>
</configuration>

3、配置hdfs-site.xml：编辑$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件，设置HDFS存储参数：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop/hdfs/datanode</value>
  </property>
</configuration>

4、配置yarn-site.xml：编辑$HADOOP_HOME/etc/hadoop/yarn-site.xml文件，设置YARN资源管理参数：

图片来源于网络，如有侵权联系删除

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

5、配置mapred-site.xml：编辑$HADOOP_HOME/etc/hadoop/mapred-site.xml文件，设置MapReduce参数：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

启动Hadoop集群

1、格式化NameNode：在master节点上执行以下命令：

hdfs namenode -format

2、启动HDFS：在master节点上执行以下命令：

start-dfs.sh

3、启动YARN：在master节点上执行以下命令：

start-yarn.sh

验证集群状态

1、查看NameNode状态：在master节点上执行以下命令：

jps

2、查看YARN状态：在master节点上执行以下命令：

yarn festival

至此，Hadoop集群在四台虚拟机上的搭建完成。

标签： #hadoop集群搭建四台虚拟机