本文目录导读：
Hadoop作为大数据领域的基石，其分布式存储和计算能力在处理海量数据方面具有显著优势，本文将详细介绍如何从零开始搭建一个Hadoop分布式集群，让你轻松入门大数据处理。
图片来源于网络，如有侵权联系删除
环境准备
1、操作系统：推荐使用CentOS 7.0以上版本，确保系统稳定性。
2、JDK：Hadoop依赖JDK，请确保JDK版本为1.8。
3、SSH：用于集群节点之间的无密码登录，便于后续集群搭建。
4、文件编辑器：如Vim、gedit等。
集群规划
1、节点规划：根据实际需求，规划集群节点数量，如3个节点（1个NameNode、1个Secondary NameNode、1个DataNode）。
2、网络规划：确保集群节点之间网络互通，并配置静态IP地址。
集群搭建
1、下载Hadoop
访问Hadoop官网（https://hadoop.apache.org/），下载对应版本的Hadoop安装包。
2、解压安装包
将下载的Hadoop安装包解压到指定目录，如/opt/hadoop。
3、配置环境变量
打开/etc/profile文件，添加以下内容：
```
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
```
保存并退出，使配置生效。
4、配置集群
（1）配置hadoop-env.sh
在$HADOOP_HOME/etc/hadoop目录下，打开hadoop-env.sh文件，配置JDK路径：
```
export JAVA_HOME=/usr/local/java/jdk1.8.0_251
```
保存并退出。
（2）配置core-site.xml
在$HADOOP_HOME/etc/hadoop目录下，创建core-site.xml文件，配置如下内容：
```
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/data</value>
</property>
</configuration>
```
保存并退出。
图片来源于网络，如有侵权联系删除
（3）配置hdfs-site.xml
在$HADOOP_HOME/etc/hadoop目录下，创建hdfs-site.xml文件，配置如下内容：
```
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hadoop/data/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/hadoop/data/hdfs/data</value>
</property>
</configuration>
```
保存并退出。
（4）配置yarn-site.xml
在$HADOOP_HOME/etc/hadoop目录下，创建yarn-site.xml文件，配置如下内容：
```
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>2048</value>
</property>
</configuration>
```
保存并退出。
5、格式化NameNode
图片来源于网络，如有侵权联系删除
登录NameNode节点，执行以下命令：
```
bin/hdfs namenode -format
```
格式化完成后，会生成两个目录：name和edits。
6、启动集群
登录NameNode节点，执行以下命令：
```
sbin/start-dfs.sh
```
登录Secondary NameNode节点，执行以下命令：
```
sbin/start-secondarynamenode.sh
```
登录ResourceManager节点，执行以下命令：
```
sbin/start-yarn.sh
```
至此，Hadoop分布式集群搭建完成。
测试集群
1、查看集群状态
登录NameNode节点，执行以下命令：
```
bin/hdfs dfsadmin -report
```
查看集群状态，确保集群正常运行。
2、上传文件
登录任意节点，执行以下命令：
```
bin/hdfs dfs -put /opt/hadoop/data/hdfs/name/current/* .
```
将NameNode节点下的文件上传到HDFS。
3、下载文件
登录任意节点，执行以下命令：
```
bin/hdfs dfs -get /testfile .
```
将HDFS中的文件下载到本地。
本文详细介绍了如何从零开始搭建Hadoop分布式集群，通过学习本文，读者可以轻松掌握Hadoop集群搭建过程，在实际应用中，可以根据需求调整集群规模和配置，以满足大数据处理需求。
标签： #hadoop分布式集群搭建
评论列表