虚拟机安装hadoop安装详细步骤，深入浅出，虚拟机中高效安装Hadoop详解教程

欧气 2024年10月26日 04:47 1 0

本文目录导读：

安装环境
安装步骤

Hadoop作为一款分布式存储和计算框架，在处理大规模数据集方面具有显著优势，在虚拟机中安装Hadoop，可以让我们在不受物理硬件限制的情况下，体验Hadoop的强大功能，本文将详细讲解在虚拟机中安装Hadoop的步骤，帮助读者轻松上手。

虚拟机安装hadoop安装详细步骤，深入浅出，虚拟机中高效安装Hadoop详解教程

图片来源于网络，如有侵权联系删除

安装环境

1、操作系统：CentOS 7

2、虚拟机软件：VMware Workstation

3、Hadoop版本：Hadoop 3.2.1

安装步骤

1、准备虚拟机

（1）打开VMware Workstation，创建一个新的虚拟机。

（2）选择“自定义（高级）”，点击“下一步”。

（3）选择“Linux”，点击“下一步”。

（4）选择“CentOS 7 64位（x86_64）”，点击“下一步”。

（5）设置虚拟机内存、CPU等硬件参数，点击“下一步”。

（6）选择虚拟硬盘文件大小，点击“下一步”。

（7）设置虚拟硬盘文件类型，选择“分配一个固定大小”，点击“下一步”。

（8）设置虚拟硬盘文件位置，点击“完成”。

2、配置网络

（1）在虚拟机中安装CentOS 7操作系统。

（2）进入虚拟机系统，打开终端。

（3）编辑网络配置文件：vi /etc/sysconfig/network-scripts/ifcfg-ens33（ens33为虚拟机的网络接口名称，根据实际情况修改）。

（4）修改以下内容：

虚拟机安装hadoop安装详细步骤，深入浅出，虚拟机中高效安装Hadoop详解教程

图片来源于网络，如有侵权联系删除

BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.1.100
NETMASK=255.255.255.0
GATEWAY=192.168.1.1

（5）保存并退出。

（6）重启网络服务：systemctl restart network

3、安装JDK

（1）下载JDK安装包：wget https://download.oracle.com/java/17/latest/jdk-17_linux-x64_bin.tar.gz

（2）解压安装包：tar -zxvf jdk-17_linux-x64_bin.tar.gz -C /usr/local

（3）配置环境变量：

vi /etc/profile

在文件末尾添加以下内容：

export JAVA_HOME=/usr/local/jdk-17
export PATH=$PATH:$JAVA_HOME/bin

（4）保存并退出。

（5）使环境变量生效：source /etc/profile

（6）验证JDK安装：java -version

4、安装Hadoop

（1）下载Hadoop安装包：wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz

（2）解压安装包：tar -zxvf hadoop-3.2.1.tar.gz -C /usr/local

（3）将Hadoop添加到环境变量：

vi /etc/profile

在文件末尾添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

（4）保存并退出。

（5）使环境变量生效：source /etc/profile

虚拟机安装hadoop安装详细步骤，深入浅出，虚拟机中高效安装Hadoop详解教程

图片来源于网络，如有侵权联系删除

5、配置Hadoop

（1）进入Hadoop配置目录：cd /usr/local/hadoop-3.2.1

（2）修改Hadoop配置文件：

vi etc/hadoop/hadoop-env.sh

在文件末尾添加以下内容：

export JAVA_HOME=/usr/local/jdk-17

（3）修改core-site.xml：

vi etc/hadoop/core-site.xml

添加以下内容：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:8020</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop-3.2.1/tmp</value>
  </property>
</configuration>

（4）修改hdfs-site.xml：

vi etc/hadoop/hdfs-site.xml

添加以下内容：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

（5）修改slaves：

vi etc/hadoop/slaves

添加以下内容（假设虚拟机为单节点）：

master

6、格式化HDFS

（1）进入Hadoop命令行：hdfs namenode -format

（2）启动Hadoop服务：

start-dfs.sh

（3）启动YARN服务：

start-yarn.sh

（4）查看Hadoop进程：

jps

通过以上步骤，我们已经在虚拟机中成功安装了Hadoop，你可以尝试运行Hadoop提供的示例程序，进一步了解Hadoop的强大功能，希望本文能帮助你顺利上手Hadoop。

标签： #虚拟机安装hadoop