hadoop伪分布式安装实验总结，hadoop伪分布式集群安装步骤，Hadoop伪分布式集群安装实战总结，从环境搭建到集群部署

本次实验成功搭建了Hadoop伪分布式集群，详细记录了环境配置、集群部署等步骤。通过实战总结，深入理解了Hadoop伪分布式集群的运行原理和配置方法。

本文目录导读：

1. 环境搭建
2. 配置Hadoop
3. 启动Hadoop集群

随着大数据时代的到来，Hadoop作为一款开源的分布式计算框架，已经广泛应用于各个领域，本文将详细阐述Hadoop伪分布式集群的安装过程，从环境搭建到集群部署，旨在帮助读者快速上手Hadoop。

环境搭建

1、下载Hadoop

图片来源于网络，如有侵权联系删除

从Hadoop官网（https://hadoop.apache.org/releases.html）下载适合自己操作系统的Hadoop版本，本文以Hadoop 3.2.1为例。

2、安装Java环境

Hadoop依赖于Java环境，因此需要先安装Java，本文以Java 8为例。

（1）下载Java 8安装包：https://www.oracle.com/java/technologies/javase-downloads.html

（2）解压安装包，将解压后的文件夹移动到系统目录下，例如移动到/usr/local。

（3）设置环境变量：

export JAVA_HOME=/usr/local/jdk1.8.0_231
export PATH=$JAVA_HOME/bin:$PATH

（4）验证Java环境：

java -version

配置Hadoop

1、解压Hadoop安装包

图片来源于网络，如有侵权联系删除

将下载的Hadoop安装包解压到指定目录，例如/usr/local/hadoop-3.2.1。

2、配置Hadoop环境变量

export HADOOP_HOME=/usr/local/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3、配置hadoop配置文件

（1）进入$HADOOP_HOME/etc/hadoop目录。

（2）编辑core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop-3.2.1/tmp</value>
    </property>
</configuration>

（3）编辑hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop-3.2.1/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop-3.2.1/hdfs/datanode</value>
    </property>
</configuration>

（4）编辑mapred-site.xml：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

（5）编辑yarn-site.xml：

图片来源于网络，如有侵权联系删除

<configuration>
    <property>
        <name>yarn.resourcemanager.host</name>
        <value>localhost</value>
    </property>
</configuration>

启动Hadoop集群

1、格式化NameNode：

hdfs namenode -format

2、启动HDFS：

start-dfs.sh

3、启动YARN：

start-yarn.sh

4、验证Hadoop集群是否启动成功：

（1）查看HDFS文件系统：

hdfs dfs -ls /

（2）查看YARN应用程序：

yarn application -list

至此，Hadoop伪分布式集群安装完成，通过本文的详细讲解，读者可以快速搭建起Hadoop环境，为后续的大数据应用打下坚实基础。

标签： #Hadoop伪分布式安装