虚拟机安装hadoop3步骤，详细解析，在虚拟机上安装Hadoop 3.x版本全攻略

本文目录导读：

1. 准备工作
2. 安装步骤

随着大数据时代的到来，Hadoop作为一款开源的分布式计算框架，已成为处理大规模数据集的重要工具，本文将详细解析如何在虚拟机上安装Hadoop 3.x版本，让您轻松掌握这一技能。

准备工作

1、虚拟机软件：如VMware、VirtualBox等。

2、操作系统：建议使用CentOS 7或Ubuntu 18.04等Linux发行版。

3、Hadoop 3.x安装包：从Hadoop官网下载相应版本的安装包。

图片来源于网络，如有侵权联系删除

4、网络配置：确保虚拟机可以访问互联网，以便下载依赖包。

安装步骤

1、配置虚拟机网络

以VMware为例，在虚拟机设置中，选择“网络适配器”，勾选“桥接模式”，然后选择一个合适的网络适配器，在“高级设置”中，设置“网络连接类型”为“仅主机模式”，这样虚拟机就可以访问互联网了。

2、创建Hadoop用户

在虚拟机上创建一个专门用于运行Hadoop的用户，例如hadoop：

sudo adduser hadoop

3、下载Hadoop安装包

从Hadoop官网下载3.x版本的安装包，例如hadoop-3.3.4.tar.gz，将下载好的安装包上传到虚拟机中。

4、解压Hadoop安装包

将安装包解压到虚拟机的根目录下，

图片来源于网络，如有侵权联系删除

tar -zxvf /root/hadoop-3.3.4.tar.gz -C /

5、配置Hadoop环境变量

编辑虚拟机的环境变量配置文件，例如在CentOS 7中编辑/etc/profile：

sudo nano /etc/profile

在文件末尾添加以下内容：

export HADOOP_HOME=/root/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存并退出编辑器，然后执行以下命令使配置生效：

source /etc/profile

6、配置Hadoop

进入Hadoop安装目录，创建配置文件：

cd /root/hadoop-3.3.4
sudo mkdir -p etc/hadoop
cd etc/hadoop

编辑core-site.xml：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/root/hadoop-3.3.4/tmp</value>
  </property>
</configuration>

编辑hdfs-site.xml：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/root/hadoop-3.3.4/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/root/hadoop-3.3.4/hdfs/datanode</value>
  </property>
</configuration>

7、格式化HDFS

图片来源于网络，如有侵权联系删除

在Hadoop安装目录下执行以下命令格式化HDFS：

bin/hdfs namenode -format

8、启动Hadoop服务

在Hadoop安装目录下执行以下命令启动HDFS和YARN服务：

sbin/start-dfs.sh
sbin/start-yarn.sh

9、验证Hadoop安装

在浏览器中访问以下地址，查看HDFS和YARN状态：

- HDFS：http://localhost:50070

- YARN：http://localhost:8088

至此，Hadoop 3.x版本已在虚拟机上成功安装，您可以根据实际需求，添加更多节点，构建Hadoop集群。

标签： #虚拟机安装hadoop步骤