本文目录导读：
在当今大数据时代，Hadoop作为一款分布式计算框架，已经成为处理海量数据的重要工具，本文将详细讲解如何在四台虚拟机环境中搭建一个Hadoop集群，以确保数据的高效处理和存储，以下是具体的搭建步骤：
环境准备
1、准备四台虚拟机，配置如下：
- 内存：4GB
图片来源于网络，如有侵权联系删除
- CPU：2核
- 硬盘：100GB
- 操作系统：CentOS 7
2、在四台虚拟机上安装JDK，版本为1.8，配置环境变量，使Java命令可在任意终端使用。
安装Hadoop
1、下载Hadoop源码包，版本为3.3.4，解压到指定目录，/opt/hadoop-3.3.4
2、配置Hadoop环境变量：
- 编辑文件：/etc/profile
- 添加以下内容：
```
export HADOOP_HOME=/opt/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
```
- 使环境变量生效：source /etc/profile
3、配置Hadoop配置文件：
- 复制文件：/opt/hadoop-3.3.4/etc/hadoop/hadoop-env.sh
- 修改内容：
```
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.x86_64
```
- 复制文件：/opt/hadoop-3.3.4/etc/hadoop/core-site.xml
- 修改内容：
```
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-3.3.4/tmp</value>
</property>
</configuration>
图片来源于网络，如有侵权联系删除
```
- 复制文件：/opt/hadoop-3.3.4/etc/hadoop/hdfs-site.xml
- 修改内容：
```
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hadoop-3.3.4/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/hadoop-3.3.4/hdfs/datanode</value>
</property>
</configuration>
```
- 复制文件：/opt/hadoop-3.3.4/etc/hadoop/yarn-site.xml
- 修改内容：
```
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
图片来源于网络，如有侵权联系删除
<name>yarn.nodemanager.address</name>
<value>master:3141</value>
</property>
<property>
<name>yarn.nodemanager.local-address</name>
<value>master:3142</value>
</property>
</configuration>
```
格式化NameNode
在master节点上执行以下命令：
hdfs namenode -format
启动Hadoop集群
1、在master节点上启动NameNode：
```
start-dfs.sh
```
2、在master节点上启动ResourceManager：
```
start-yarn.sh
```
3、在所有节点上启动NodeManager：
```
start-dfs.sh
start-yarn.sh
```
验证Hadoop集群
1、在master节点上查看Web界面：
- 访问：http://master:50070
- 查看NameNode状态
2、在master节点上查看YARN界面：
- 访问：http://master:8088
- 查看ResourceManager状态
至此，四台虚拟机环境下的Hadoop集群搭建完成，您可以根据需求在集群上运行MapReduce程序，处理海量数据。
标签： #hadoop集群搭建四台虚拟机
评论列表