虚拟机搭建hadoop集群的步骤，深入解析，在虚拟机中搭建Hadoop集群的全方位指南

本文目录导读：

图片来源于网络，如有侵权联系删除

1. 搭建Hadoop集群所需环境
2. 搭建Hadoop集群步骤

随着大数据时代的到来，Hadoop作为一款开源的大数据处理框架，已经在众多企业和研究机构中得到广泛应用，在虚拟机中搭建Hadoop集群，可以方便地进行实验、测试和开发，本文将详细介绍在虚拟机中搭建Hadoop集群的步骤，帮助读者轻松掌握Hadoop集群的搭建方法。

搭建Hadoop集群所需环境

1、操作系统：Linux系统，如CentOS、Ubuntu等。

2、虚拟机软件：VMware、VirtualBox等。

3、Java开发环境：JDK 1.8及以上版本。

4、Hadoop版本：Hadoop 3.x版本。

搭建Hadoop集群步骤

1、创建虚拟机

（1）打开虚拟机软件，创建一个新的虚拟机。

（2）选择Linux系统，如CentOS。

（3）分配内存和CPU资源，建议分配2GB内存和2核CPU。

（4）创建完成后，启动虚拟机。

2、安装JDK

（1）在虚拟机中，打开终端。

（2）使用以下命令下载JDK安装包：

wget http://download.oracle.com/otn-pub/java/jdk/8u251-b08/jdk-8u251-linux-x64.tar.gz

（3）解压JDK安装包：

tar -xvf jdk-8u251-linux-x64.tar.gz

（4）配置JDK环境变量：

vi /etc/profile

在文件中添加以下内容：

export JAVA_HOME=/usr/local/java/jdk1.8.0_251
export PATH=$PATH:$JAVA_HOME/bin

保存并退出。

图片来源于网络，如有侵权联系删除

（5）使环境变量生效：

source /etc/profile

3、安装Hadoop

（1）下载Hadoop安装包：

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz

（2）解压Hadoop安装包：

tar -xvf hadoop-3.2.0.tar.gz

（3）配置Hadoop环境变量：

vi /etc/profile

在文件中添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-3.2.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存并退出。

（4）使环境变量生效：

source /etc/profile

4、配置Hadoop集群

（1）创建Hadoop目录：

mkdir -p /usr/local/hadoop-3.2.0/hdfs/namenode
mkdir -p /usr/local/hadoop-3.2.0/hdfs/datanode
mkdir -p /usr/local/hadoop-3.2.0/yarn/local/usercache
mkdir -p /usr/local/hadoop-3.2.0/yarn/local/history
mkdir -p /usr/local/hadoop-3.2.0/yarn/local/mapred/system

（2）配置hadoop-env.sh：

vi /usr/local/hadoop-3.2.0/etc/hadoop/hadoop-env.sh

在文件中添加以下内容：

export JAVA_HOME=/usr/local/java/jdk1.8.0_251

保存并退出。

（3）配置core-site.xml：

vi /usr/local/hadoop-3.2.0/etc/hadoop/core-site.xml

在文件中添加以下内容：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop-3.2.0/tmp</value>
    </property>
</configuration>

保存并退出。

（4）配置hdfs-site.xml：

图片来源于网络，如有侵权联系删除

vi /usr/local/hadoop-3.2.0/etc/hadoop/hdfs-site.xml

在文件中添加以下内容：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop-3.2.0/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop-3.2.0/hdfs/datanode</value>
    </property>
</configuration>

保存并退出。

（5）配置yarn-site.xml：

vi /usr/local/hadoop-3.2.0/etc/hadoop/yarn-site.xml

在文件中添加以下内容：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>master:8032</value>
    </property>
    <property>
        <name>yarn.nodemanager.address</name>
        <value>master:12380</value>
    </property>
    <property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>/usr/local/hadoop-3.2.0/yarn/local/usercache</value>
    </property>
    <property>
        <name>yarn.nodemanager.log-dirs</name>
        <value>/usr/local/hadoop-3.2.0/yarn/local/history</value>
    </property>
</configuration>

保存并退出。

（6）配置mapred-site.xml：

vi /usr/local/hadoop-3.2.0/etc/hadoop/mapred-site.xml

在文件中添加以下内容：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

保存并退出。

5、格式化NameNode

hdfs namenode -format

6、启动Hadoop集群

（1）启动HDFS：

start-dfs.sh

（2）启动YARN：

start-yarn.sh

（3）启动HistoryServer：

mr-jobhistory-daemon.sh start historyserver

本文详细介绍了在虚拟机中搭建Hadoop集群的步骤，通过以上步骤，您可以轻松地搭建一个Hadoop集群，为后续的大数据处理打下基础，在实际应用中，您可以根据需求对Hadoop集群进行优化和扩展，希望本文对您有所帮助。

标签： #虚拟机搭建hadoop