虚拟机安装hadoop安装详细步骤，虚拟机环境下一站式Hadoop安装与配置指南

本文目录导读：

1. 准备工作
2. 安装Hadoop
3. 测试Hadoop

准备工作

1、准备一台虚拟机，推荐使用VMware Workstation或VirtualBox等虚拟机软件。

图片来源于网络，如有侵权联系删除

2、在虚拟机中安装操作系统，推荐使用CentOS 7.6 x64位。

3、配置虚拟机网络，确保虚拟机可以访问外部网络。

4、安装Java环境，Hadoop需要Java环境支持。

安装Hadoop

1、下载Hadoop官方安装包：访问Hadoop官网（https://hadoop.apache.org/），下载最新版本的Hadoop安装包。

2、解压安装包：将下载的Hadoop安装包解压到虚拟机的指定目录，/opt/hadoop。

3、配置环境变量：在虚拟机的终端中，编辑.bash_profile文件，添加以下内容：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

4、使环境变量生效：在终端中执行以下命令：

图片来源于网络，如有侵权联系删除

source .bash_profile

5、配置Hadoop：进入Hadoop的etc/hadoop目录，编辑以下文件：

- core-site.xml：配置Hadoop的存储路径和HDFS的副本数量等。

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop/tmp</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

- hdfs-site.xml：配置HDFS的存储路径和副本策略等。

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/opt/hadoop/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/hadoop/hdfs/datanode</value>
    </property>
</configuration>

- mapred-site.xml：配置MapReduce的存储路径和运行模式等。

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

- yarn-site.xml：配置YARN的存储路径和资源分配等。

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

6、格式化HDFS：在终端中执行以下命令，格式化HDFS文件系统：

hadoop namenode -format

7、启动Hadoop服务：在终端中执行以下命令，启动Hadoop服务：

图片来源于网络，如有侵权联系删除

start-dfs.sh
start-yarn.sh

8、检查Hadoop服务状态：在终端中执行以下命令，检查Hadoop服务状态：

jps

测试Hadoop

1、创建HDFS目录：在终端中执行以下命令，创建HDFS目录：

hadoop fs -mkdir -p /user/hadoop

2、上传文件到HDFS：在终端中执行以下命令，将本地文件上传到HDFS：

hadoop fs -put /path/to/local/file /user/hadoop/

3、下载文件到本地：在终端中执行以下命令，将HDFS文件下载到本地：

hadoop fs -get /user/hadoop/file /path/to/local/

4、查看HDFS文件列表：在终端中执行以下命令，查看HDFS文件列表：

hadoop fs -ls /user/hadoop/

就是在虚拟机环境下一站式Hadoop安装与配置的详细步骤，通过以上步骤，您可以在虚拟机中成功安装并配置Hadoop，为后续的Hadoop学习与开发打下坚实基础。

标签： #虚拟机安装hadoop安装详细步骤