虚拟机搭建hadoop集群 三台Ubuntu，虚拟机搭建hadoop集群，从零开始，三台Ubuntu虚拟机搭建高效Hadoop集群详解

本文从零开始，详细介绍了使用三台Ubuntu虚拟机搭建高效Hadoop集群的步骤，为读者提供了完整的搭建指南。

本文目录导读：

1. 环境准备
2. 安装Hadoop
3. 启动Hadoop集群
4. 测试Hadoop集群

在当今的大数据时代，Hadoop作为一款强大的分布式数据处理框架，已经成为处理海量数据的重要工具，为了更好地掌握Hadoop技术，本文将详细介绍如何在三台Ubuntu虚拟机上搭建一个简单的Hadoop集群，以下是具体步骤：

环境准备

1、准备三台Ubuntu虚拟机，确保操作系统版本一致（如：Ubuntu 18.04）。

2、配置虚拟机网络，确保三台虚拟机之间可以互相通信。

图片来源于网络，如有侵权联系删除

3、安装Java环境，因为Hadoop依赖于Java运行。

安装Hadoop

1、下载Hadoop源码包，解压到一台虚拟机的根目录下。

2、进入Hadoop解压后的目录，配置环境变量：

export HADOOP_HOME=/home/hadoop/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3、修改Hadoop配置文件：

- 修改etc/hadoop/hadoop-env.sh文件，设置Java的路径：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

- 修改etc/hadoop/core-site.xml文件，配置Hadoop运行时的存储目录：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop-3.3.4/tmp</value>
    </property>
</configuration>

- 修改etc/hadoop/hdfs-site.xml文件，配置HDFS存储目录：

图片来源于网络，如有侵权联系删除

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoop/hadoop-3.3.4/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/home/hadoop/hadoop-3.3.4/hdfs/datanode</value>
    </property>
</configuration>

- 修改etc/hadoop/yarn-site.xml文件，配置YARN资源管理器：

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

启动Hadoop集群

1、格式化NameNode：

hdfs namenode -format

2、启动HDFS：

start-dfs.sh

3、启动YARN：

start-yarn.sh

4、查看Web界面：

在浏览器中输入http://master:50070，即可查看HDFS的Web界面；在浏览器中输入http://master:8088，即可查看YARN的Web界面。

测试Hadoop集群

1、创建一个测试文件：

图片来源于网络，如有侵权联系删除

hdfs dfs -put /etc/passwd /test

2、查看文件：

hdfs dfs -cat /test/passwd

3、运行一个MapReduce程序：

hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordcount /test/passwd /test/output

4、查看结果：

hdfs dfs -cat /test/output/part-r-00000

至此，三台Ubuntu虚拟机搭建的Hadoop集群已经成功运行，通过以上步骤，您可以熟练掌握Hadoop集群的搭建过程，为后续的数据处理和开发打下坚实基础。