hadoop伪分布式安装教程，Hadoop伪分布式集群搭建，从安装到部署的详细教程

本文目录导读：

1. Hadoop简介
2. Hadoop伪分布式集群搭建步骤

Hadoop简介

Hadoop是一个开源的分布式计算框架，主要用于处理大规模数据集，它采用分布式存储和分布式计算的方式，将大数据处理任务分配到多个节点上并行执行，提高了数据处理效率，Hadoop伪分布式集群是指在一台机器上模拟多个节点，用于学习和测试。

Hadoop伪分布式集群搭建步骤

1、准备环境

图片来源于网络，如有侵权联系删除

（1）操作系统：推荐使用Linux系统，如CentOS、Ubuntu等。

（2）Java环境：Hadoop需要Java环境，推荐安装Java 8。

（3）Hadoop版本：这里以Hadoop 3.3.4为例。

2、安装Java

（1）下载Java 8安装包：https://www.oracle.com/java/technologies/javase-downloads.html

（2）解压安装包到指定目录，/usr/local/java

（3）设置环境变量

编辑文件：/etc/profile

添加以下内容：

export JAVA_HOME=/usr/local/java
export PATH=$PATH:$JAVA_HOME/bin

保存并退出，然后执行以下命令使配置生效：

source /etc/profile

3、下载Hadoop安装包

（1）访问Hadoop官网：https://hadoop.apache.org/releases.html

图片来源于网络，如有侵权联系删除

（2）下载Hadoop 3.3.4安装包：https://www.apache.org/dyn/closer.cgi?path=/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz

4、解压Hadoop安装包

将下载的Hadoop安装包解压到指定目录，/usr/local/hadoop

5、配置Hadoop

（1）编辑文件：/usr/local/hadoop/etc/hadoop/hadoop-env.sh

添加以下内容：

export JAVA_HOME=/usr/local/java

（2）编辑文件：/usr/local/hadoop/etc/hadoop/core-site.xml

添加以下内容：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

（3）编辑文件：/usr/local/hadoop/etc/hadoop/hdfs-site.xml

添加以下内容：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

（4）编辑文件：/usr/local/hadoop/etc/hadoop/yarn-site.xml

添加以下内容：

图片来源于网络，如有侵权联系删除

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
</configuration>

6、格式化HDFS

在Hadoop命令行中执行以下命令：

hdfs namenode -format

7、启动Hadoop服务

（1）启动HDFS

start-dfs.sh

（2）启动YARN

start-yarn.sh

8、验证Hadoop伪分布式集群

在浏览器中访问以下地址，查看Hadoop Web界面：

http://localhost:50070

在浏览器中访问以下地址，查看YARN Web界面：

http://localhost:8088

至此，Hadoop伪分布式集群搭建完成。

本文详细介绍了Hadoop伪分布式集群的搭建过程，包括准备环境、安装Java、下载Hadoop安装包、解压安装包、配置Hadoop、格式化HDFS、启动Hadoop服务以及验证Hadoop伪分布式集群，通过本文的教程，您可以快速搭建Hadoop伪分布式集群，为后续学习和测试Hadoop打下基础。

标签： #hadoop安装与伪分布式集群搭建头歌步骤