hadoop安装与伪分布式集群搭建头哥，深入浅出，Hadoop安装与伪分布式集群搭建全攻略

本文目录导读：

1. Hadoop简介
2. Hadoop安装与配置
3. 搭建伪分布式集群

随着大数据时代的到来，Hadoop作为一款分布式存储和计算框架，已经成为大数据领域的事实标准，本文将为您详细讲解Hadoop的安装过程，并手把手教您搭建一个伪分布式集群，让您轻松入门大数据世界。

Hadoop简介

Hadoop是一款由Apache软件基金会开发的开源框架，主要用于处理大规模数据集，它由三个核心组件组成：Hadoop分布式文件系统（HDFS）、Hadoop YARN和Hadoop MapReduce。

1、HDFS：负责存储大数据，采用分布式存储架构，支持高吞吐量数据访问。

图片来源于网络，如有侵权联系删除

2、YARN：负责资源管理和调度，为各种计算框架提供运行环境。

3、MapReduce：负责数据处理，采用分布式计算架构，将大数据分解成多个小任务并行处理。

Hadoop安装与配置

1、准备环境

（1）操作系统：Linux操作系统（如CentOS、Ubuntu等）

（2）Java环境：Hadoop依赖于Java运行环境，版本需与Hadoop兼容

（3）网络环境：确保各节点之间网络互通

2、安装Hadoop

（1）下载Hadoop安装包：从Apache官网下载最新版本的Hadoop安装包

（2）上传安装包到各节点：使用FTP、SCP等工具将安装包上传到各个节点

（3）解压安装包：在各个节点上解压安装包，tar -zxvf hadoop-3.3.4.tar.gz -C /opt/hadoop

图片来源于网络，如有侵权联系删除

3、配置Hadoop

（1）配置环境变量

编辑 /etc/profile 文件，添加以下内容：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后执行 source /etc/profile 使配置生效。

（2）配置Hadoop配置文件

在Hadoop安装目录下的etc/hadoop文件夹中，配置以下文件：

1）core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop/tmp</value>
    </property>
</configuration>

2）hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

3）yarn-site.xml

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
</configuration>

4）mapred-site.xml

图片来源于网络，如有侵权联系删除

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

搭建伪分布式集群

1、格式化HDFS

在master节点上执行以下命令：

hadoop namenode -format

2、启动Hadoop服务

在master节点上执行以下命令启动HDFS和YARN服务：

start-dfs.sh
start-yarn.sh

3、检查服务状态

在master节点上执行以下命令查看HDFS和YARN服务状态：

jps

您应该能看到NameNode、SecondaryNameNode、ResourceManager和NodeManager等进程。

通过本文的讲解，您应该已经掌握了Hadoop的安装和伪分布式集群搭建，您可以尝试使用Hadoop进行数据处理和分析，探索大数据的魅力，希望本文对您有所帮助！

标签： #hadoop安装与伪分布式集群搭建