Hadoop伪分布式集群搭建详解，从零开始构建大数据平台，hadoop伪分布式安装实验总结

本文目录导读：

1. 概述
2. 环境准备
3. 安装步骤

概述

Hadoop作为一款开源的大数据处理框架，已成为当今大数据领域的核心技术之一，伪分布式集群是Hadoop集群的入门级配置，它具有简单、易搭建的特点，适合初学者学习Hadoop，本文将详细介绍Hadoop伪分布式集群的搭建步骤，帮助您快速构建大数据平台。

图片来源于网络，如有侵权联系删除

环境准备

1、操作系统：Linux操作系统，推荐使用CentOS 7。

2、Java环境：JDK 1.8及以上版本。

3、Hadoop版本：本文以Hadoop 3.2.1版本为例。

安装步骤

1、安装Java环境

（1）下载JDK 1.8及以上版本的安装包，并将其上传到Linux服务器。

（2）解压安装包，tar -zxvf jdk-8u241-linux-x64.tar.gz

（3）设置JDK环境变量，编辑/etc/profile文件，添加以下内容：

export JAVA_HOME=/usr/local/java/jdk1.8.0_241
export PATH=$PATH:$JAVA_HOME/bin

（4）使环境变量生效，执行以下命令：

source /etc/profile

（5）验证Java环境，执行以下命令：

java -version

2、安装Hadoop

图片来源于网络，如有侵权联系删除

（1）下载Hadoop 3.2.1版本的安装包，并将其上传到Linux服务器。

（2）解压安装包，tar -zxvf hadoop-3.2.1.tar.gz

（3）配置Hadoop环境变量，编辑/etc/profile文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

（4）使环境变量生效，执行以下命令：

source /etc/profile

3、配置Hadoop

（1）进入Hadoop配置目录，cd /usr/local/hadoop/hadoop-3.2.1

（2）复制slaves文件到当前目录，并修改文件内容，

localhost

（3）修改core-site.xml文件，配置Hadoop运行时的基本参数，

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/hadoop-3.2.1/tmp</value>
  </property>
</configuration>

（4）修改hdfs-site.xml文件，配置HDFS的存储参数，

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop/hadoop-3.2.1/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop/hadoop-3.2.1/hdfs/datanode</value>
  </property>
</configuration>

（5）修改mapred-site.xml文件，配置MapReduce运行时的参数，

图片来源于网络，如有侵权联系删除

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

（6）修改yarn-site.xml文件，配置YARN运行时的参数，

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
</configuration>

4、格式化HDFS文件系统

hdfs namenode -format

5、启动Hadoop集群

（1）启动HDFS：

start-dfs.sh

（2）启动YARN：

start-yarn.sh

6、验证Hadoop集群

（1）查看HDFS Web界面：

http://localhost:50070

（2）查看YARN Web界面：

http://localhost:8088

通过以上步骤，您已经成功搭建了一个Hadoop伪分布式集群，您可以学习如何使用Hadoop进行大数据处理和分析，祝您学习愉快！

标签： #hadoop伪分布式集群安装步骤