本文目录导读：
Hadoop伪分布式集群概述
Hadoop伪分布式集群是Hadoop分布式计算框架的入门级环境，它可以在单台机器上模拟分布式集群的计算能力，通过搭建Hadoop伪分布式集群，我们可以更好地了解Hadoop的架构和原理，为后续的学习和实践打下坚实的基础。
搭建Hadoop伪分布式集群的准备工作
1、系统环境：操作系统推荐使用Linux，如CentOS、Ubuntu等，本教程以CentOS 7为例。
2、JDK环境：Hadoop是基于Java开发的，因此需要安装JDK，本教程以JDK 1.8为例。
3、SSH免密登录：为了方便在集群内部进行操作，我们需要配置SSH免密登录。
图片来源于网络，如有侵权联系删除
4、网络环境：确保集群内部网络畅通，以便数据传输。
搭建Hadoop伪分布式集群的步骤
1、安装JDK
（1）下载JDK：从Oracle官网下载JDK 1.8，选择适合自己系统的版本。
（2）安装JDK：将下载的JDK安装包上传到服务器，解压并设置环境变量。
tar -zxvf jdk-8u241-linux-x64.tar.gz cd jdk1.8.0_241 vi /etc/profile
在/etc/profile文件中添加以下内容：
export JAVA_HOME=/usr/local/java/jdk1.8.0_241 export PATH=$PATH:$JAVA_HOME/bin
保存并退出，执行以下命令使配置生效：
source /etc/profile
2、安装SSH服务
yum install -y openssh-server systemctl start sshd systemctl enable sshd
3、配置SSH免密登录
（1）生成SSH密钥对：
ssh-keygen -t rsa -P '' -C 'your_email@example.com'
（2）将公钥复制到服务器：
ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.1.101
（3）检查SSH免密登录是否成功：
图片来源于网络，如有侵权联系删除
ssh root@192.168.1.101
4、下载Hadoop源码
wget https://archive.apache.org/dist/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz tar -zxvf hadoop-3.2.0.tar.gz mv hadoop-3.2.0 /usr/local/hadoop
5、配置Hadoop环境变量
vi /etc/profile
在/etc/profile文件中添加以下内容：
export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin
保存并退出，执行以下命令使配置生效：
source /etc/profile
6、配置Hadoop
（1）进入Hadoop配置目录：
cd /usr/local/hadoop/etc/hadoop
（2）修改hadoop-env.sh文件，设置JDK路径：
vi hadoop-env.sh
添加以下内容：
export JAVA_HOME=/usr/local/java/jdk1.8.0_241
（3）修改core-site.xml文件，设置Hadoop存储路径：
vi core-site.xml
添加以下内容：
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/data/tmp</value>
</property>
</configuration>（4）修改hdfs-site.xml文件，设置HDFS存储路径：
图片来源于网络，如有侵权联系删除
vi hdfs-site.xml
添加以下内容：
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/data/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop/data/hdfs/datanode</value>
</property>
</configuration>（5）修改mapred-site.xml文件，设置MapReduce运行模式：
vi mapred-site.xml
添加以下内容：
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>（6）修改yarn-site.xml文件，设置YARN运行模式：
vi yarn-site.xml
添加以下内容：
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
</configuration>7、格式化HDFS
hdfs namenode -format
8、启动Hadoop服务
start-dfs.sh start-yarn.sh
9、检查Hadoop服务状态
jps
你应该可以看到NameNode、SecondaryNameNode、ResourceManager和NodeManager进程。
通过以上步骤，我们已经成功搭建了一个Hadoop伪分布式集群，在这个环境中，你可以学习和实践Hadoop的各项功能，为后续的学习打下坚实的基础，在后续的学习过程中，你还可以根据自己的需求对Hadoop进行扩展和优化。
标签： #hadoop伪分布式集群安装步骤
评论列表