hadoop分布式搭建步骤，Hadoop分布式集群搭建详解，从基础配置到集群部署

欧气 2024年10月29日 08:41 0 0

本文目录导读：

环境准备
集群配置
Hadoop安装与配置
集群启动与测试

随着大数据时代的到来，Hadoop作为一款开源的大数据处理框架，已经成为企业级数据处理的基石，搭建一个稳定高效的Hadoop分布式集群，是企业进行大数据处理的重要步骤，本文将详细讲解Hadoop分布式集群的搭建步骤，包括环境准备、集群配置、Hadoop安装与配置、集群启动与测试等环节。

环境准备

1、硬件环境：Hadoop分布式集群至少需要三台服务器，一台作为NameNode，两台作为DataNode，服务器配置要求如下：

- CPU：至少2核

- 内存：至少4GB

hadoop分布式搭建步骤，Hadoop分布式集群搭建详解，从基础配置到集群部署

图片来源于网络，如有侵权联系删除

- 硬盘：至少1TB（建议使用SSD）

2、软件环境：

- 操作系统：CentOS 7.0或更高版本

- JDK：1.8或更高版本

- SSH：确保服务器之间可以无密码登录

集群配置

1、配置主机名和IP地址

- 编辑/etc/hosts文件，将三台服务器的IP地址和主机名对应关系添加到文件中。

- 编辑/etc/hostname文件，将每台服务器的hostname设置为对应的IP地址。

2、配置SSH免密码登录

- 在每台服务器上生成SSH密钥对：ssh-keygen -t rsa

- 将公钥复制到其他两台服务器：ssh-copy-id root@<其他服务器IP>

3、配置防火墙

- 关闭防火墙：systemctl stop firewalld.service

hadoop分布式搭建步骤，Hadoop分布式集群搭建详解，从基础配置到集群部署

图片来源于网络，如有侵权联系删除

- 设置SELinux为disabled模式：setenforce 0

Hadoop安装与配置

1、下载Hadoop源码包

- 下载Hadoop源码包：wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz

2、解压源码包

- 解压Hadoop源码包：tar -zxvf hadoop-3.3.4.tar.gz

3、配置Hadoop环境变量

- 编辑/etc/profile文件，添加以下内容：

     export HADOOP_HOME=/usr/local/hadoop-3.3.4
     export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

- 使环境变量生效：source /etc/profile

4、配置Hadoop配置文件

- 编辑hadoop-env.sh文件，设置JDK路径：export JAVA_HOME=/usr/local/jdk1.8.0_251

- 编辑core-site.xml文件，设置Hadoop运行时参数：

     <configuration>
       <property>
         <name>fs.defaultFS</name>
         <value>hdfs://namenode:9000</value>
       </property>
       <property>
         <name>hadoop.tmp.dir</name>
         <value>/usr/local/hadoop-3.3.4/tmp</value>
       </property>
     </configuration>

- 编辑hdfs-site.xml文件，设置HDFS参数：

     <configuration>
       <property>
         <name>dfs.replication</name>
         <value>2</value>
       </property>
       <property>
         <name>dfs.namenode.name.dir</name>
         <value>/usr/local/hadoop-3.3.4/hdfs/namenode</value>
       </property>
       <property>
         <name>dfs.datanode.data.dir</name>
         <value>/usr/local/hadoop-3.3.4/hdfs/datanode</value>
       </property>
     </configuration>

- 编辑mapred-site.xml文件，设置MapReduce参数：

hadoop分布式搭建步骤，Hadoop分布式集群搭建详解，从基础配置到集群部署

图片来源于网络，如有侵权联系删除

     <configuration>
       <property>
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
       </property>
     </configuration>

- 编辑yarn-site.xml文件，设置YARN参数：

     <configuration>
       <property>
         <name>yarn.resourcemanager.host</name>
         <value>namenode</value>
       </property>
       <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
       </property>
     </configuration>