hadoop伪分布式搭建全过程，Hadoop伪分布式平台搭建全攻略，从入门到精通

本文目录导读：

1. 环境准备
2. 搭建步骤

随着大数据时代的到来，Hadoop作为一款分布式计算框架，被广泛应用于数据处理和分析领域，本文将详细讲解Hadoop伪分布式平台的搭建过程，帮助读者从入门到精通。

环境准备

1、操作系统：Linux系统（推荐使用CentOS 7）

2、JDK：Java Development Kit，版本为1.8或以上

3、Hadoop：本文以Hadoop 3.3.4版本为例

图片来源于网络，如有侵权联系删除

搭建步骤

1、安装JDK

（1）下载JDK：访问Oracle官网，下载适合Linux系统的JDK安装包

（2）解压JDK：将下载的JDK安装包解压到指定目录，如/usr/local/

（3）配置环境变量：编辑/etc/profile文件，添加以下内容：

export JAVA_HOME=/usr/local/jdk1.8.0_251
export PATH=$PATH:$JAVA_HOME/bin

（4）使环境变量生效：运行以下命令

source /etc/profile

2、安装Hadoop

（1）下载Hadoop：访问Apache Hadoop官网，下载适合Linux系统的Hadoop安装包

（2）解压Hadoop：将下载的Hadoop安装包解压到指定目录，如/usr/local/

（3）配置Hadoop环境变量：编辑/etc/profile文件，添加以下内容：

图片来源于网络，如有侵权联系删除

export HADOOP_HOME=/usr/local/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

（4）使环境变量生效：运行以下命令

source /etc/profile

3、配置Hadoop

（1）编辑/usr/local/hadoop-3.3.4/etc/hadoop/core-site.xml文件，添加以下内容：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

（2）编辑/usr/local/hadoop-3.3.4/etc/hadoop/hdfs-site.xml文件，添加以下内容：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

（3）编辑/usr/local/hadoop-3.3.4/etc/hadoop/mapred-site.xml文件，添加以下内容：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

（4）编辑/usr/local/hadoop-3.3.4/etc/hadoop/yarn-site.xml文件，添加以下内容：

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
</configuration>

4、格式化HDFS

在终端输入以下命令，格式化HDFS：

hdfs namenode -format

5、启动Hadoop

图片来源于网络，如有侵权联系删除

（1）启动NameNode：

start-dfs.sh

（2）启动ResourceManager：

start-yarn.sh

6、验证Hadoop

在浏览器中输入http://localhost:50070，查看Hadoop的Web界面，确认NameNode和ResourceManager是否正常运行。

在终端输入以下命令，查看Hadoop的进程：

jps

输出结果应包含以下进程：

NameNode
ResourceManager
SecondaryNameNode
NodeManager

至此，Hadoop伪分布式平台搭建完成。

本文详细介绍了Hadoop伪分布式平台的搭建过程，从环境准备到配置，再到启动和验证，通过学习本文，读者可以掌握Hadoop伪分布式平台的搭建方法，为后续的大数据学习打下坚实基础。

标签： #hadoop伪分布式平台搭建