虚拟机中安装Hadoop的详细步骤详解，虚拟机如何安装hadoop

本文目录导读：

1. 安装环境
2. 安装步骤

Hadoop是一个开源的分布式计算框架，主要用于处理大规模数据集，在虚拟机中安装Hadoop可以让我们在本地环境中轻松地搭建起一个分布式计算环境，从而更好地学习和实践Hadoop，本文将详细介绍在虚拟机中安装Hadoop的步骤，帮助读者快速入门。

图片来源于网络，如有侵权联系删除

安装环境

1、操作系统：Linux（本文以CentOS 7为例）

2、虚拟机软件：VMware Workstation、VirtualBox等

3、Hadoop版本：本文以Hadoop 3.2.1为例

安装步骤

1、准备虚拟机

（1）创建一个新的虚拟机，选择Linux系统，版本为CentOS 7。

（2）配置虚拟机网络，选择桥接模式，确保虚拟机可以访问外部网络。

（3）配置虚拟机磁盘空间，根据需要分配足够的空间。

（4）启动虚拟机，安装CentOS 7操作系统。

2、安装Java环境

（1）打开终端，输入以下命令安装Java：

sudo yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel

（2）检查Java版本：

java -version

确保Java版本为1.8。

3、下载Hadoop

（1）访问Hadoop官网（https://hadoop.apache.org/releases/）下载Hadoop 3.2.1版本。

（2）将下载好的Hadoop安装包上传到虚拟机的/home目录下。

4、解压Hadoop安装包

（1）打开终端，切换到/home目录：

图片来源于网络，如有侵权联系删除

cd /home

（2）解压Hadoop安装包：

tar -zxvf hadoop-3.2.1.tar.gz

（3）重命名解压后的目录：

mv hadoop-3.2.1 hadoop

5、配置Hadoop环境变量

（1）打开终端，编辑.bashrc文件：

vi ~/.bashrc

（2）在文件末尾添加以下内容：

export HADOOP_HOME=/home/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

（3）保存并退出编辑器。

（4）使环境变量生效：

source ~/.bashrc

6、配置Hadoop

（1）打开终端，进入Hadoop安装目录：

cd /home/hadoop

（2）复制etc/hadoop目录下的slaves文件到当前目录：

cp etc/hadoop/slaves .

（3）编辑slaves文件，将虚拟机的IP地址添加到文件中，

192、168.1.100

（4）进入etc/hadoop目录，编辑core-site.xml文件：

vi etc/hadoop/core-site.xml

添加以下内容：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:8020</value>
    </property>
</configuration>

（5）编辑hdfs-site.xml文件：

vi etc/hadoop/hdfs-site.xml

添加以下内容：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

（6）进入etc/hadoop目录，编辑mapred-site.xml文件：

vi etc/hadoop/mapred-site.xml

添加以下内容：

图片来源于网络，如有侵权联系删除

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

7、格式化HDFS

（1）打开终端，进入Hadoop安装目录：

cd /home/hadoop

（2）执行以下命令格式化HDFS：

bin/hdfs namenode -format

8、启动Hadoop

（1）启动NameNode：

sbin/hadoop-daemon.sh start namenode

（2）启动DataNode：

sbin/hadoop-daemon.sh start datanode

（3）启动SecondaryNameNode：

sbin/hadoop-daemon.sh start secondarynamenode

（4）启动YARN ResourceManager：

sbin/yarn-daemon.sh start resourcemanager

（5）启动NodeManager：

sbin/yarn-daemon.sh start nodemanager

9、验证Hadoop安装

（1）在终端中执行以下命令查看Hadoop进程：

jps

应看到以下进程：

NameNode
DataNode
SecondaryNameNode
ResourceManager
NodeManager

（2）访问Hadoop Web界面：http://master:50070

本文详细介绍了在虚拟机中安装Hadoop的步骤，包括准备虚拟机、安装Java环境、下载和安装Hadoop、配置Hadoop环境变量、配置Hadoop、格式化HDFS、启动Hadoop以及验证Hadoop安装，通过本文的步骤，读者可以快速搭建起一个Hadoop分布式计算环境，为后续的学习和实践打下基础。

标签： #虚拟机安装hadoop安装详细步骤