虚拟机安装hadoop安装详细步骤是什么，深度解析，虚拟机中安装Hadoop的全方位详细步骤指南

本文目录导读：

1. 准备工作
2. 配置环境变量
3. 配置Hadoop环境
4. 格式化HDFS
5. 启动Hadoop集群
6. 测试Hadoop

在当今大数据时代，Hadoop作为一款开源的分布式计算框架，已成为处理海量数据的重要工具，而虚拟机作为测试、开发和学习Hadoop的理想环境，安装Hadoop的过程显得尤为重要，本文将为您详细解析虚拟机中安装Hadoop的步骤，助您轻松掌握Hadoop的安装技巧。

准备工作

1、准备一台虚拟机，安装好操作系统（如CentOS、Ubuntu等）。

图片来源于网络，如有侵权联系删除

2、下载Hadoop安装包：前往Hadoop官网（https://hadoop.apache.org/）下载适合自己操作系统的Hadoop版本。

3、下载JDK：Hadoop需要JDK支持，前往Oracle官网（https://www.oracle.com/java/technologies/javase-downloads.html）下载适合自己操作系统的JDK版本。

配置环境变量

1、解压Hadoop安装包，将其解压到指定目录，/usr/local/hadoop。

2、将Hadoop的bin目录添加到系统环境变量中。

以CentOS为例，编辑文件/etc/profile，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

保存并退出编辑器，然后执行以下命令使配置生效：

source /etc/profile

配置Hadoop环境

1、编辑/usr/local/hadoop/etc/hadoop/hadoop-env.sh文件，设置JDK路径：

图片来源于网络，如有侵权联系删除

export JAVA_HOME=/usr/local/jdk1.8.0_231

2、编辑/usr/local/hadoop/etc/hadoop/core-site.xml文件，设置Hadoop运行时的文件系统：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

3、编辑/usr/local/hadoop/etc/hadoop/hdfs-site.xml文件，设置HDFS的存储目录：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop/hdfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop/hdfs/data</value>
  </property>
</configuration>

4、编辑/usr/local/hadoop/etc/hadoop/yarn-site.xml文件，设置YARN的运行参数：

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>localhost:8032</value>
  </property>
  <property>
    <name>yarn.nodemanager.address</name>
    <value>localhost:12380</value>
  </property>
  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/usr/local/hadoop/yarn/local</value>
  </property>
  <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/usr/local/hadoop/yarn/log</value>
  </property>
</configuration>

格式化HDFS

在终端中执行以下命令，格式化HDFS：

hdfs namenode -format

启动Hadoop集群

1、启动NameNode：

start-dfs.sh

2、启动Secondary NameNode：

start-SecondaryNameNode.sh

3、启动ResourceManager：

图片来源于网络，如有侵权联系删除

start-yarn.sh

4、启动NodeManager：

start-dfs.sh

至此，Hadoop集群已成功启动，您可以使用以下命令查看集群状态：

jps

测试Hadoop

1、创建一个测试文件：

hadoop fs -put /etc/passwd /test

2、查看文件内容：

hadoop fs -cat /test/passwd

通过以上步骤，您已成功在虚拟机中安装并启动了Hadoop集群，在接下来的学习和实践中，您可以进一步了解Hadoop的更多功能和应用场景，祝您学习愉快！

标签： #虚拟机安装hadoop安装详细步骤