hadoop伪分布式搭建全过程，hadoop伪分布式集群搭建过程，Hadoop伪分布式集群搭建指南，从环境准备到集群启动

本文详细介绍了Hadoop伪分布式集群搭建的全过程，包括环境准备、集群配置、启动与测试等步骤。从零开始，逐步指导读者完成Hadoop伪分布式集群的搭建，适用于初学者了解Hadoop集群的基本构建。

本文目录导读：

1. 环境准备
2. JDK安装
3. Hadoop安装
4. 启动Hadoop集群

环境准备

1、操作系统：Linux（推荐使用CentOS 7）

2、JDK：1.8或更高版本

3、Hadoop版本：推荐使用Hadoop 3.3.4

JDK安装

1、下载JDK：前往Oracle官网下载对应版本的JDK安装包，选择适合自己操作系统的安装包。

图片来源于网络，如有侵权联系删除

2、解压JDK：将下载的JDK安装包解压到指定目录，例如/usr/local/

3、设置环境变量：

vi /etc/profile

在文件末尾添加以下内容：

export JAVA_HOME=/usr/local/jdk1.8.0_231
export PATH=$PATH:$JAVA_HOME/bin

4、使环境变量生效：

source /etc/profile

5、验证JDK安装：

java -version

输出以下信息表示安装成功：

java version "1.8.0_231"

Hadoop安装

1、下载Hadoop：前往Apache Hadoop官网下载对应版本的Hadoop安装包，选择适合自己操作系统的安装包。

2、解压Hadoop：将下载的Hadoop安装包解压到指定目录，例如/usr/local/

3、配置Hadoop：

a. 修改/usr/local/hadoop/etc/hadoop/core-site.xml：

```xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

```

b. 修改/usr/local/hadoop/etc/hadoop/hdfs-site.xml：

```xml

<configuration>

<property>

图片来源于网络，如有侵权联系删除

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

```

c. 修改/usr/local/hadoop/etc/hadoop/yarn-site.xml：

```xml

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

```

4、创建Hadoop数据目录：

hadoop fs -mkdir -p /tmp/hadoop-yarn-staging
hadoop fs -mkdir -p /user
hadoop fs -chmod -R 777 /tmp/hadoop-yarn-staging
hadoop fs -chmod -R 777 /user

启动Hadoop集群

1、格式化HDFS：

hdfs namenode -format

2、启动HDFS：

start-dfs.sh

3、启动YARN：

start-yarn.sh

4、查看Hadoop集群状态：

a. 查看HDFS状态：

```bash

jps

图片来源于网络，如有侵权联系删除

```

输出以下信息表示HDFS启动成功：

```

NameNode

SecondaryNameNode

DataNode

```

b. 查看YARN状态：

```bash

jps

```

输出以下信息表示YARN启动成功：

```

NodeManager

ResourceManager

```

c. 查看Web界面：

打开浏览器，访问http://localhost:50070查看HDFS状态，访问http://localhost:8088查看YARN状态。

至此，Hadoop伪分布式集群搭建完成。