Hadoop伪分布式集群搭建指南：从安装到配置详解
一、Hadoop简介
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集，它由Apache软件基金会开发，旨在通过简单、高效地存储和分布式处理大数据而设计，Hadoop的核心组件包括Hadoop分布式文件系统（HDFS）和Hadoop YARN。
二、Hadoop伪分布式安装步骤
图片来源于网络，如有侵权联系删除
1. 准备环境
（1）操作系统：推荐使用Linux系统，如CentOS、Ubuntu等。
（2）Java环境：Hadoop依赖Java环境，版本建议为1.8或更高。
（3）网络环境：确保网络畅通，各节点间能够相互通信。
2. 下载Hadoop安装包
（1）访问Hadoop官方下载页面：https://hadoop.apache.org/releases.html
（2）选择适合自己系统的版本，下载安装包。
3. 解压安装包
（1）将下载的Hadoop安装包移动到服务器上。
（2）使用tar命令解压安装包，
tar -zxvf hadoop-3.2.1.tar.gz -C /opt/hadoop
4. 配置环境变量
（1）打开终端，编辑.bashrc文件：
vi ~/.bashrc
（2）在文件末尾添加以下内容：
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
（3）保存文件并退出。
图片来源于网络，如有侵权联系删除
（4）使环境变量生效：
source ~/.bashrc
5. 配置Hadoop
（1）进入Hadoop安装目录：
cd /opt/hadoop
（2）编辑hadoop-env.sh文件，设置Java环境：
vi hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.272.x86_64
（3）编辑core-site.xml文件，配置HDFS：
vi core-site.xml
（4）编辑hdfs-site.xml文件，配置HDFS：
vi hdfs-site.xml
（5）编辑mapred-site.xml文件，配置MapReduce：
vi mapred-site.xml
（6）编辑yarn-site.xml文件，配置YARN：
vi yarn-site.xml
6. 格式化HDFS
（1）进入Hadoop安装目录：
图片来源于网络，如有侵权联系删除
cd /opt/hadoop
（2）执行以下命令，格式化HDFS：
bin/hdfs namenode -format
7. 启动Hadoop服务
（1）启动HDFS：
bin/hdfs dfsadmin -safemode leave
bin/start-dfs.sh
（2）启动YARN：
bin/yarn-daemon.sh start resourcemanager
bin/yarn-daemon.sh start nodemanager
8. 验证安装
（1）进入HDFS文件系统：
bin/hdfs dfs -ls /
（2）查看YARN资源管理器：
bin/yarnobierno -status
至此，Hadoop伪分布式集群搭建完成。
评论列表