搭建和配置hadoop环境，深入解析Hadoop环境搭建与伪分布式集群配置过程

本文目录导读：

1. Hadoop简介
2. Hadoop环境搭建
3. 伪分布式集群搭建

Hadoop简介

Hadoop是一个开源的分布式计算框架，主要用于处理海量数据，它由Java编写，具有高可靠性、高扩展性、高容错性等特点，在Hadoop环境中，数据被存储在分布式文件系统（HDFS）中，通过MapReduce编程模型进行分布式计算。

Hadoop环境搭建

1、系统要求

- 操作系统：Linux（推荐使用CentOS 7）

图片来源于网络，如有侵权联系删除

- Java环境：JDK 1.8及以上版本

- Hadoop版本：3.x版本

2、安装Java环境

（1）下载JDK：从Oracle官网下载JDK 1.8及以上版本，选择Linux版本。

（2）解压JDK：将下载的JDK压缩包解压到指定目录，例如/usr/local/java。

（3）配置环境变量：编辑/etc/profile文件，添加以下内容：

export JAVA_HOME=/usr/local/java/jdk1.8.0_231
export PATH=$PATH:$JAVA_HOME/bin

（4）使环境变量生效：执行source /etc/profile命令。

3、安装Hadoop

（1）下载Hadoop：从Apache官网下载Hadoop 3.x版本，选择Linux版本。

（2）解压Hadoop：将下载的Hadoop压缩包解压到指定目录，例如/usr/local/hadoop。

（3）配置Hadoop环境变量：编辑/etc/profile文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

（4）使环境变量生效：执行source /etc/profile命令。

图片来源于网络，如有侵权联系删除

4、配置Hadoop

（1）配置Hadoop配置文件：进入/usr/local/hadoop/etc/hadoop目录，编辑以下文件：

hadoop-env.sh：配置JDK路径。

core-site.xml：配置HDFS的存储目录和副本因子等。

hdfs-site.xml：配置HDFS的存储目录和副本因子等。

mapred-site.xml：配置MapReduce的运行模式（本地模式或分布式模式）。

yarn-site.xml：配置YARN的运行模式（本地模式或分布式模式）。

（2）格式化HDFS：执行以下命令格式化HDFS：

hadoop fsformat -Dtest -Dfinal hdfs dfs -format /hdfs/namenode

伪分布式集群搭建

1、修改Hadoop配置文件

（1）修改mapred-site.xml文件，将<mapreduce.framework.name>的值设置为yarn。

（2）修改yarn-site.xml文件，将<yarn.resourcemanager.hostname>的值设置为当前主机的IP地址。

2、启动Hadoop服务

图片来源于网络，如有侵权联系删除

执行以下命令启动Hadoop服务：

start-dfs.sh
start-yarn.sh

3、测试Hadoop环境

在终端执行以下命令，查看Hadoop集群状态：

jps

终端应该显示以下进程：

- NameNode

- SecondaryNameNode

- ResourceManager

- NodeManager

- DataNode

- JobHistoryServer

至此，Hadoop伪分布式集群搭建完成，您可以使用Hadoop提供的工具进行数据处理和分析。

标签： #第2关:配置开发环境 - hadoop安装与伪分布式集群搭建