本文目录导读：
概述
Hadoop是一款开源的大数据处理框架，广泛应用于分布式存储和分布式计算领域，本文将详细介绍Hadoop完全分布式集群的搭建过程，帮助读者从零开始，掌握Hadoop集群的搭建技巧。
环境准备
1、操作系统：Linux系统，如CentOS、Ubuntu等。
图片来源于网络，如有侵权联系删除
2、Java环境：Hadoop需要Java环境，版本为1.8及以上。
3、软件版本：本文以Hadoop 3.3.1版本为例。
集群配置
1、修改主机名
在每台服务器上修改主机名，确保主机名唯一，将主机名修改为hadoop01、hadoop02、hadoop03。
2、配置主机名解析
在每台服务器的/etc/hosts文件中添加其他节点的IP地址和主机名，确保主机名解析正确。
3、关闭防火墙和SELinux
关闭防火墙和SELinux，以便集群内部通信，以下为CentOS系统的关闭命令：
systemctl stop firewalld systemctl disable firewalld setenforce 0
4、配置SSH免密登录
在每台服务器上配置SSH免密登录，以便集群内部通信，以下是配置步骤：
（1）生成密钥对：ssh-keygen -t rsa -P '' -C "your_email@example.com"
（2）将公钥复制到其他节点：ssh-copy-id -i ~/.ssh/id_rsa.pub root@hadoop02
图片来源于网络，如有侵权联系删除
5、配置网络
确保集群内部网络通信正常，检查网络配置，如IP地址、子网掩码、网关等。
Hadoop安装
1、下载Hadoop安装包
从Apache Hadoop官网下载Hadoop安装包，本文以Hadoop 3.3.1版本为例。
2、解压安装包
将下载的Hadoop安装包解压到指定目录，例如/opt/hadoop-3.3.1。
3、配置环境变量
在/etc/profile文件中添加Hadoop环境变量：
export HADOOP_HOME=/opt/hadoop-3.3.1 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
4、配置Hadoop
（1）修改hadoop-env.sh文件，设置Java环境：
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.292.b10-1.el7_9.x86_64
（2）修改core-site.xml文件，配置HDFS存储目录：
<property> <name>fs.defaultFS</name> <value>hdfs://hadoop01:8020</value> </property>
（3）修改hdfs-site.xml文件，配置HDFS副本数量：
图片来源于网络，如有侵权联系删除
<property> <name>dfs.replication</name> <value>3</value> </property>
（4）修改mapred-site.xml文件，配置MapReduce运行模式：
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
（5）修改yarn-site.xml文件，配置YARN资源管理器地址：
<property> <name>yarn.resourcemanager.hostname</name> <value>hadoop01</value> </property>
启动Hadoop集群
1、格式化HDFS
在主节点上执行以下命令，格式化HDFS：
hdfs namenode -format
2、启动HDFS
在主节点上执行以下命令，启动HDFS：
start-dfs.sh
3、启动YARN
在主节点上执行以下命令，启动YARN：
start-yarn.sh
4、查看集群状态
在浏览器中访问http://hadoop01:50070，查看HDFS状态；在浏览器中访问http://hadoop01:8088，查看YARN状态。
本文详细介绍了Hadoop完全分布式集群的搭建过程，包括环境准备、集群配置、Hadoop安装和启动等步骤，通过本文的学习，读者可以掌握Hadoop集群的搭建技巧，为后续的大数据处理项目打下坚实基础。
标签： #hadoop完全分布式集群搭建全过程
评论列表