hadoop伪分布式安装详细步骤，Hadoop伪分布式集群搭建详解，从安装到配置一应俱全

本文目录导读：

1. Hadoop简介
2. Hadoop伪分布式安装环境
3. Hadoop伪分布式安装步骤

Hadoop简介

Hadoop是一个开源的分布式计算框架，由Apache软件基金会开发，它允许使用简单的编程模型跨大量计算机集群（数千台机器）分布式处理大规模数据集，Hadoop的主要组件包括HDFS（Hadoop分布式文件系统）和MapReduce（一种编程模型）。

Hadoop伪分布式安装环境

1、操作系统：Linux（如CentOS、Ubuntu等）

2、JDK：1.8或更高版本

3、网络配置：确保所有节点之间可以正常通信

图片来源于网络，如有侵权联系删除

Hadoop伪分布式安装步骤

1、下载Hadoop

前往Hadoop官网（https://hadoop.apache.org/）下载适合自己操作系统的Hadoop版本，以下以Hadoop 3.3.1为例。

2、解压Hadoop

将下载的Hadoop压缩包解压到指定目录，/opt/hadoop-3.3.1

3、配置环境变量

编辑环境变量配置文件（~/.bashrc），添加以下内容：

export HADOOP_HOME=/opt/hadoop-3.3.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使配置生效：

source ~/.bashrc

4、配置Hadoop

进入Hadoop配置目录：

图片来源于网络，如有侵权联系删除

cd $HADOOP_HOME/etc/hadoop

（1）配置core-site.xml

编辑core-site.xml文件，配置Hadoop运行时需要的基本参数：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop-3.3.1/tmp</value>
    </property>
</configuration>

（2）配置hdfs-site.xml

编辑hdfs-site.xml文件，配置HDFS运行时需要的基本参数：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/opt/hadoop-3.3.1/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/hadoop-3.3.1/hdfs/datanode</value>
    </property>
</configuration>

（3）配置mapred-site.xml

由于Hadoop 3.0之后，MapReduce已经与YARN整合，因此mapred-site.xml文件已不存在，直接编辑yarn-site.xml文件：

<configuration>
    <property>
        <name>yarn.resourcemanager.host</name>
        <value>localhost</value>
    </property>
</configuration>

5、格式化HDFS

在配置Hadoop之前，需要格式化HDFS，执行以下命令：

hdfs namenode -format

6、启动Hadoop服务

图片来源于网络，如有侵权联系删除

启动Hadoop服务，包括HDFS和YARN：

start-dfs.sh
start-yarn.sh

7、验证Hadoop是否启动成功

在浏览器中输入以下地址，查看HDFS和YARN的Web界面：

- HDFS：http://localhost:50070

- YARN：http://localhost:8088

本文详细介绍了Hadoop伪分布式集群的搭建过程，包括环境配置、安装步骤和配置文件修改，通过以上步骤，您可以在本地计算机上搭建一个简单的Hadoop伪分布式集群，用于学习和实践Hadoop技术，在实际生产环境中，还需要考虑集群的扩展、性能优化和故障处理等问题。

标签： #配置开发环境 - hadoop安装与伪分布式集群搭建