三台虚拟机搭建hadoop，Hadoop集群三台虚拟机搭建详解，从基础配置到集群部署

本文目录导读：

1. 环境准备
2. 基础环境配置
3. Hadoop安装
4. 集群部署

随着大数据时代的到来，Hadoop作为一款开源的分布式计算框架，已经在全球范围内得到了广泛应用，本文将详细介绍如何在三台虚拟机中搭建Hadoop集群，包括基础环境配置、Hadoop安装、集群部署等步骤。

环境准备

1、操作系统：选择CentOS 7.x版本

2、虚拟机软件：推荐使用VMware Workstation或VirtualBox

3、Java环境：Hadoop需要Java环境支持，推荐使用Java 8

图片来源于网络，如有侵权联系删除

4、网络配置：确保三台虚拟机可以相互通信，并设置静态IP地址

基础环境配置

1、配置主机名

在每台虚拟机中，分别修改/etc/hosts文件，将主机名与IP地址对应起来。

编辑 hosts 文件
vi /etc/hosts
添加以下内容
192、168.1.101 hadoop-master
192、168.1.102 hadoop-slave1
192、168.1.103 hadoop-slave2

2、配置SSH免密登录

在每台虚拟机中，生成SSH密钥对，并配置免密登录。

生成 SSH 密钥对
ssh-keygen -t rsa -P '' -C 'your_email@example.com'
将公钥复制到其他两台虚拟机
ssh-copy-id -i ~/.ssh/id_rsa.pub root@hadoop-slave1
ssh-copy-id -i ~/.ssh/id_rsa.pub root@hadoop-slave2
在 hadoop-slave1 和 hadoop-slave2 上配置免密登录
vi ~/.ssh/authorized_keys

3、配置防火墙

关闭防火墙或添加Hadoop所需端口（如8024、8025等）的规则。

关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
或者添加防火墙规则
firewall-cmd --permanent --add-port=8024/tcp
firewall-cmd --permanent --add-port=8025/tcp
firewall-cmd --reload

Hadoop安装

1、下载Hadoop

访问Hadoop官网（https://hadoop.apache.org/），下载适合自己操作系统的Hadoop版本。

图片来源于网络，如有侵权联系删除

2、解压Hadoop

将下载的Hadoop解压到指定目录，如/opt/hadoop。

3、配置Hadoop环境变量

在每台虚拟机的~/.bashrc文件中，添加Hadoop环境变量。

编辑 .bashrc 文件
vi ~/.bashrc
添加以下内容
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4、修改Hadoop配置文件

进入Hadoop配置目录，修改相关配置文件。

修改 core-site.xml
vi core-site.xml
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop-master:8020</value>
  </property>
</configuration>
修改 hdfs-site.xml
vi hdfs-site.xml
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
</configuration>
修改 mapred-site.xml
vi mapred-site.xml
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>
修改 yarn-site.xml
vi yarn-site.xml
<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop-master</value>
  </property>
</configuration>

集群部署

1、格式化HDFS

在hadoop-master上，执行以下命令格式化HDFS。

hadoop namenode -format

2、启动Hadoop集群

图片来源于网络，如有侵权联系删除

在hadoop-master上，启动Hadoop集群。

启动 HDFS
start-dfs.sh
启动 YARN
start-yarn.sh

3、验证集群状态

在hadoop-master上，使用jps命令查看进程状态。

jps

应该可以看到NameNode、SecondaryNameNode、ResourceManager和NodeManager进程。

4、访问Hadoop Web界面

在浏览器中，访问http://hadoop-master:50070，查看HDFS Web界面；访问http://hadoop-master:8088，查看YARN Web界面。

通过以上步骤，我们已经成功在三台虚拟机上搭建了Hadoop集群，在实际应用中，可以根据需求进行扩展和优化，希望本文对您有所帮助！

标签： #hadoop集群3台虚拟机搭建完整教程