hadoop伪分布式安装详细步骤，Hadoop伪分布式集群安装指南，从环境搭建到集群启动

本文目录导读：

图片来源于网络，如有侵权联系删除

1. 环境准备
2. 安装步骤

Hadoop作为一款强大的分布式计算框架，在处理大规模数据集时表现出色，而伪分布式模式是Hadoop集群的一个入门级配置，它允许用户在单台机器上模拟分布式环境，从而学习和测试Hadoop的应用，以下是Hadoop伪分布式集群的详细安装步骤，我们将从环境搭建到集群启动进行逐一解析。

环境准备

1、操作系统：推荐使用Linux操作系统，如CentOS 7、Ubuntu 18.04等。

2、Java环境：Hadoop依赖于Java环境，需要安装Java 8或更高版本。

3、网络环境：确保网络畅通，便于后续配置。

安装步骤

1、安装Java

（1）下载Java安装包：从Oracle官网下载Java 8或更高版本的安装包。

（2）解压安装包：将下载的安装包解压到指定目录，例如/opt/java。

（3）配置环境变量：在/etc/profile 文件中添加以下内容：

export JAVA_HOME=/opt/java/jdk1.8.0_XXX
export PATH=$PATH:$JAVA_HOME/bin

（4）使配置生效：执行source /etc/profile 命令。

（5）验证Java安装：执行java -version 命令，查看Java版本信息。

2、安装Hadoop

（1）下载Hadoop安装包：从Apache Hadoop官网下载Hadoop 3.x版本的安装包。

图片来源于网络，如有侵权联系删除

（2）解压安装包：将下载的安装包解压到指定目录，例如/opt/hadoop。

（3）配置环境变量：在/etc/profile 文件中添加以下内容：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

（4）使配置生效：执行source /etc/profile 命令。

（5）配置Hadoop

（a）编辑hadoop-env.sh 文件，配置Java环境：

export JAVA_HOME=/opt/java/jdk1.8.0_XXX

（b）编辑core-site.xml 文件，配置Hadoop核心参数：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop/data</value>
    </property>
</configuration>

（c）编辑hdfs-site.xml 文件，配置HDFS参数：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

（d）编辑mapred-site.xml 文件，配置MapReduce参数：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

（e）编辑yarn-site.xml 文件，配置YARN参数：

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
</configuration>

3、格式化HDFS

在Hadoop根目录下执行以下命令：

bin/hdfs namenode -format

4、启动Hadoop集群

图片来源于网络，如有侵权联系删除

（1）启动NameNode：

sbin/hadoop-daemon.sh start namenode

（2）启动DataNode：

sbin/hadoop-daemon.sh start datanode

（3）启动SecondaryNameNode：

sbin/hadoop-daemon.sh start secondarynamenode

（4）启动YARN资源管理器：

sbin/yarn-daemon.sh start resourcemanager

（5）启动YARN节点管理器：

sbin/yarn-daemon.sh start nodemanager

5、验证Hadoop集群

（1）查看HDFS状态：

bin/hdfs dfsadmin -report

（2）查看YARN状态：

bin/yarn node -list

至此，Hadoop伪分布式集群已成功搭建，您可以在该集群上运行Hadoop程序，进行分布式计算和存储测试。

标签： #hadoop伪分布式集群安装步骤