三台虚拟机搭建hadoop，深入解析，四台虚拟机搭建Hadoop集群的实战步骤与技巧

本文目录导读：

1. 准备工作
2. 搭建Hadoop集群
3. 启动Hadoop集群
4. 验证Hadoop集群

随着大数据时代的到来，Hadoop作为一款分布式存储和计算框架，被广泛应用于各类大数据处理场景，本文将详细解析如何在四台虚拟机上搭建Hadoop集群，帮助您快速掌握Hadoop集群搭建的核心技巧。

准备工作

1、准备四台虚拟机，配置如下：

（1）操作系统：CentOS 7.6 64位

图片来源于网络，如有侵权联系删除

（2）内存：4GB

（3）CPU：2核

（4）硬盘：20GB

2、在每台虚拟机上安装JDK，版本为1.8。

3、下载Hadoop安装包，版本为3.3.4。

搭建Hadoop集群

1、解压Hadoop安装包

将下载的Hadoop安装包解压到每台虚拟机的指定目录，

[root@master ~]# tar -zxvf hadoop-3.3.4.tar.gz -C /opt/hadoop/

2、配置Hadoop环境变量

在每台虚拟机的/etc/profile文件中添加以下内容：

export HADOOP_HOME=/opt/hadoop/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后执行以下命令使配置生效：

图片来源于网络，如有侵权联系删除

[root@master ~]# source /etc/profile

3、配置Hadoop核心文件

（1）配置/opt/hadoop/hadoop-3.3.4/etc/hadoop/core-site.xml文件：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/hadoop-3.3.4/data/tmp</value>
  </property>
</configuration>

（2）配置/opt/hadoop/hadoop-3.3.4/etc/hadoop/hdfs-site.xml文件：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop/hadoop-3.3.4/data/hdfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop/hadoop-3.3.4/data/hdfs/data</value>
  </property>
</configuration>

4、配置Hadoop历史服务器

（1）配置/opt/hadoop/hadoop-3.3.4/etc/hadoop/yarn-site.xml文件：

<configuration>
  <property>
    <name>yarn.log.server.url</name>
    <value>http://master:19888/yarn/applicationhistorylogs</value>
  </property>
  <property>
    <name>yarn.log aggregation.retain-seconds</name>
    <value>604800</value>
  </property>
</configuration>

（2）在/opt/hadoop/hadoop-3.3.4/etc/hadoop/mapred-site.xml文件中添加以下内容：

<configuration>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>master:19888</value>
  </property>
</configuration>

5、配置Hadoop集群节点

（1）配置/opt/hadoop/hadoop-3.3.4/etc/hadoop/hadoop-env.sh文件，设置Java_home路径：

export JAVA_HOME=/usr/local/jdk1.8.0_231

（2）配置/opt/hadoop/hadoop-3.3.4/etc/hadoop/slaves文件，添加从节点信息：

node1
node2
node3

启动Hadoop集群

1、格式化NameNode

图片来源于网络，如有侵权联系删除

[root@master ~]# hadoop namenode -format

2、启动Hadoop服务

[root@master ~]# start-dfs.sh
[root@master ~]# start-yarn.sh
[root@master ~]# mr-jobhistory-daemon.sh start historyserver

验证Hadoop集群

1、查看HDFS状态

[root@master ~]# jps

2、访问HDFS Web界面

在浏览器中输入以下地址，查看HDFS Web界面：

http://master:50070

3、查看YARN状态

在浏览器中输入以下地址，查看YARN Web界面：

http://master:8088

通过以上步骤，您已成功在四台虚拟机上搭建了Hadoop集群，在实际应用中，Hadoop集群的搭建和优化是一个持续的过程，需要根据实际需求不断调整和优化，希望本文能帮助您快速掌握Hadoop集群搭建的核心技巧。

标签： #hadoop集群搭建四台虚拟机