虚拟机搭建hadoop集群的步骤是什么，虚拟机搭建hadoop集群的步骤，深入解析，在虚拟机中搭建高效Hadoop集群的详细步骤指南

在虚拟机中搭建Hadoop集群的步骤包括：1. 安装虚拟机软件；2. 创建Hadoop节点虚拟机；3. 配置网络和主机名；4. 安装Java环境；5. 安装Hadoop；6. 配置Hadoop环境变量；7. 配置Hadoop集群参数；8. 格式化NameNode；9. 启动Hadoop服务；10. 验证集群状态。本文将深入解析每一步，提供详细的步骤指南，帮助您搭建高效Hadoop集群。

本文目录导读：

1. 准备工作
2. 配置虚拟机环境
3. 安装Hadoop
4. 验证集群

准备工作

在搭建Hadoop集群之前，我们需要进行以下准备工作：

1、确保虚拟机软件安装完毕，例如VMware、VirtualBox等。

图片来源于网络，如有侵权联系删除

2、在虚拟机中创建至少3个虚拟机，用于安装Hadoop集群的各个组件，这里以3节点集群为例，包括1个NameNode、1个Secondary NameNode和2个DataNode。

3、在虚拟机中安装操作系统，推荐使用CentOS 7.6。

4、确保所有虚拟机网络设置正确，可以使用桥接模式或NAT模式。

5、下载Hadoop软件包，推荐使用最新稳定版。

配置虚拟机环境

1、修改主机名

在每台虚拟机中，分别执行以下命令修改主机名：

hostnamectl set-hostname <主机名>

NameNode主机名为hadoop1，Secondary NameNode主机名为hadoop2，DataNode主机名为hadoop3。

2、配置hosts文件

在每台虚拟机中，编辑/etc/hosts文件，添加以下内容：

<NameNode IP> hadoop1
<Secondary NameNode IP> hadoop2
<DataNode1 IP> hadoop3
<DataNode2 IP> hadoop4

3、关闭防火墙

在每台虚拟机中，关闭防火墙以避免影响集群通信：

图片来源于网络，如有侵权联系删除

systemctl stop firewalld
systemctl disable firewalld

4、开启SSH免密登录

在每台虚拟机中，生成SSH密钥对，并复制到其他虚拟机：

ssh-keygen -t rsa
ssh-copy-id <目标用户>

将hadoop1的SSH密钥复制到hadoop2和hadoop3：

ssh-copy-id hadoop2
ssh-copy-id hadoop3

安装Hadoop

1、解压Hadoop软件包

在每台虚拟机中，将下载的Hadoop软件包解压到/usr/local目录下：

tar -zxvf hadoop-3.2.1.tar.gz -C /usr/local/

2、配置环境变量

在每台虚拟机中，编辑/etc/profile文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3、配置Hadoop

（1）修改/usr/local/hadoop-3.2.1/etc/hadoop/core-site.xml文件：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop1:8020</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop-3.2.1/tmp</value>
  </property>
</configuration>

（2）修改/usr/local/hadoop-3.2.1/etc/hadoop/hdfs-site.xml文件：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop2:50090</value>
  </property>
</configuration>

（3）修改/usr/local/hadoop-3.2.1/etc/hadoop/mapred-site.xml文件：

图片来源于网络，如有侵权联系删除

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

（4）修改/usr/local/hadoop-3.2.1/etc/hadoop/yarn-site.xml文件：

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop1</value>
  </property>
</configuration>

4、格式化NameNode

在hadoop1虚拟机中，执行以下命令格式化NameNode：

hdfs namenode -format

5、启动Hadoop集群

在每台虚拟机中，分别执行以下命令启动Hadoop集群：

start-dfs.sh
start-yarn.sh

验证集群

1、访问HDFS Web界面

在浏览器中输入NameNode的IP地址和端口号（默认为8088），即可访问HDFS Web界面。

2、访问YARN Web界面

在浏览器中输入ResourceManager的IP地址和端口号（默认为8088），即可访问YARN Web界面。

至此，Hadoop集群在虚拟机中搭建完成，在实际应用中，您可以根据需要调整集群配置，以满足不同的业务需求。