Hadoop伪分布式集群搭建全攻略，详细步骤与注意事项，hadoop伪分布式安装实验总结

本文目录导读：

1. 准备工作
2. 安装步骤
3. 注意事项

随着大数据时代的到来，Hadoop作为一款开源的大数据处理框架，已经成为了业界的热门选择，伪分布式集群是Hadoop入门学习和实验的理想环境，本文将详细讲解如何搭建一个Hadoop伪分布式集群，并分享一些安装过程中的注意事项。

准备工作

1、硬件要求：一台性能较好的计算机，建议CPU至少为双核，内存至少4GB。

2、操作系统：推荐使用Linux系统，如CentOS、Ubuntu等。

3、软件要求：

图片来源于网络，如有侵权联系删除

- Java开发包：JDK 1.8及以上版本

- Hadoop：根据操作系统选择相应版本的Hadoop，如Hadoop-3.3.4.tar.gz

安装步骤

1、安装Java开发包

（1）下载JDK安装包：从Oracle官网下载JDK安装包，选择与操作系统和架构相匹配的版本。

（2）解压安装包：将下载的JDK安装包解压到指定目录，例如/usr/local/。

（3）配置环境变量：

- 编辑/etc/profile文件，添加以下内容：

     export JAVA_HOME=/usr/local/jdk1.8.0_241
     export PATH=$PATH:$JAVA_HOME/bin

- 使配置生效：运行source /etc/profile命令。

2、安装Hadoop

（1）下载Hadoop安装包：从Apache Hadoop官网下载与操作系统和架构相匹配的版本。

（2）解压安装包：将下载的Hadoop安装包解压到指定目录，例如/usr/local/。

（3）配置Hadoop环境变量：

图片来源于网络，如有侵权联系删除

- 编辑/etc/profile文件，添加以下内容：

     export HADOOP_HOME=/usr/local/hadoop-3.3.4
     export PATH=$PATH:$HADOOP_HOME/bin
     export PATH=$PATH:$HADOOP_HOME/sbin

- 使配置生效：运行source /etc/profile命令。

3、配置Hadoop

（1）编辑/usr/local/hadoop-3.3.4/etc/hadoop/hadoop-env.sh文件，设置Java安装路径：

   export JAVA_HOME=/usr/local/jdk1.8.0_241

（2）编辑/usr/local/hadoop-3.3.4/etc/hadoop/core-site.xml文件，配置Hadoop运行时的系统属性：

   <configuration>
       <property>
           <name>fs.defaultFS</name>
           <value>hdfs://localhost:9000</value>
       </property>
       <property>
           <name>hadoop.tmp.dir</name>
           <value>/usr/local/hadoop-3.3.4/tmp</value>
       </property>
   </configuration>

（3）编辑/usr/local/hadoop-3.3.4/etc/hadoop/hdfs-site.xml文件，配置HDFS的存储路径：

   <configuration>
       <property>
           <name>dfs.replication</name>
           <value>1</value>
       </property>
       <property>
           <name>dfs.namenode.name.dir</name>
           <value>/usr/local/hadoop-3.3.4/hdfs/namenode</value>
       </property>
       <property>
           <name>dfs.datanode.data.dir</name>
           <value>/usr/local/hadoop-3.3.4/hdfs/datanode</value>
       </property>
   </configuration>

（4）编辑/usr/local/hadoop-3.3.4/etc/hadoop/mapred-site.xml文件，配置MapReduce的存储路径：

   <configuration>
       <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
       </property>
       <property>
           <name>mapreduce.map.java.opts</name>
           <value>-Xmx1024m</value>
       </property>
       <property>
           <name>mapreduce.reduce.java.opts</name>
           <value>-Xmx1024m</value>
       </property>
   </configuration>

（5）编辑/usr/local/hadoop-3.3.4/etc/hadoop/yarn-site.xml文件，配置YARN的存储路径：

   <configuration>
       <property>
           <name>yarn.nodemanager.log.dir</name>
           <value>/usr/local/hadoop-3.3.4/yarn/log</value>
       </property>
       <property>
           <name>yarn.nodemanager.log_aggregation.retain-seconds</name>
           <value>604800</value>
       </property>
   </configuration>

4、格式化HDFS

运行以下命令，格式化HDFS文件系统：

hadoop namenode -format

5、启动Hadoop服务

运行以下命令，启动Hadoop服务：

图片来源于网络，如有侵权联系删除

start-dfs.sh
start-yarn.sh

6、验证Hadoop服务

运行以下命令，查看Hadoop服务状态：

jps

你应该能看到NameNode、DataNode、ResourceManager和NodeManager进程在运行。

注意事项

1、在安装过程中，确保所有依赖库都已正确安装。

2、在配置Hadoop环境变量时，确保路径正确。

3、在配置HDFS存储路径时，确保路径存在，并具有足够的存储空间。

4、在启动Hadoop服务之前，确保已格式化HDFS文件系统。

5、如果遇到问题，请查看Hadoop的官方文档或搜索相关解决方案。

通过以上步骤，你已成功搭建了一个Hadoop伪分布式集群，你可以开始学习和使用Hadoop进行大数据处理了，祝你好运！

标签： #hadoop伪分布式集群安装步骤