本文目录导读：
图片来源于网络，如有侵权联系删除
环境准备
1、操作系统：Linux系统（推荐CentOS 7）
2、JDK：Java Development Kit（推荐版本1.8）
3、Hadoop：Hadoop分布式文件系统（HDFS）和Hadoop计算框架（MapReduce）
JDK安装
1、下载JDK安装包：从Oracle官网下载适合Linux系统的JDK安装包。
2、解压安装包：使用tar命令解压JDK安装包，tar -zxvf jdk-8u231-linux-x64.tar.gz
3、设置环境变量：在~/.bashrc文件中添加以下内容：
export JAVA_HOME=/usr/local/jdk1.8.0_231 export PATH=$PATH:$JAVA_HOME/bin
4、使环境变量生效：执行source ~/.bashrc命令。
5、验证JDK安装：在终端中执行java -version命令，查看Java版本信息。
Hadoop安装
1、下载Hadoop安装包：从Apache官网下载适合Linux系统的Hadoop安装包。
图片来源于网络，如有侵权联系删除
2、解压安装包：使用tar命令解压Hadoop安装包，tar -zxvf hadoop-3.3.4.tar.gz
3、设置环境变量：在~/.bashrc文件中添加以下内容：
export HADOOP_HOME=/usr/local/hadoop-3.3.4 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin
4、使环境变量生效：执行source ~/.bashrc命令。
5、配置Hadoop环境：
（1）修改hadoop-env.sh文件：在Hadoop安装目录下的etc/hadoop目录中找到hadoop-env.sh文件，修改JAVA_HOME变量值为JDK安装路径。
（2）修改core-site.xml文件：在Hadoop安装目录下的etc/hadoop目录中找到core-site.xml文件，修改以下内容：
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>（3）修改hdfs-site.xml文件：在Hadoop安装目录下的etc/hadoop目录中找到hdfs-site.xml文件，修改以下内容：
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>（4）修改mapred-site.xml文件：在Hadoop安装目录下的etc/hadoop目录中找到mapred-site.xml文件，修改以下内容：
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>（5）修改yarn-site.xml文件：在Hadoop安装目录下的etc/hadoop目录中找到yarn-site.xml文件，修改以下内容：
图片来源于网络，如有侵权联系删除
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
</configuration>6、格式化HDFS：在终端中执行以下命令格式化HDFS：
hdfs namenode -format
启动Hadoop集群
1、启动NameNode：
start-dfs.sh
2、启动ResourceManager：
start-yarn.sh
3、查看Hadoop服务状态：
（1）查看NameNode状态：
jps
（2）查看ResourceManager状态：
jps
通过以上步骤，您已经成功搭建了一个Hadoop伪分布式集群，在后续的学习和实践中，您可以尝试在集群上运行Hadoop程序，深入了解Hadoop的架构和原理，也可以尝试修改集群配置，探索Hadoop的更多功能，祝您学习愉快！
标签： #hadoop分布式与伪分布式集群搭建
评论列表