hadoop伪分布式集群搭建，Hadoop伪分布式集群搭建实战教程

本文目录导读：

1. 概述
2. 环境准备
3. 安装步骤
4. 启动Hadoop集群
5. 测试Hadoop集群

概述

Hadoop作为一款分布式计算框架，在处理大规模数据集方面具有显著优势，本文将详细讲解Hadoop伪分布式集群的搭建过程，帮助读者快速掌握Hadoop的基本应用。

环境准备

1、操作系统：CentOS 7（64位）

图片来源于网络，如有侵权联系删除

2、JDK：Java Development Kit 1.8

3、Hadoop：Hadoop 3.3.4

安装步骤

1、安装JDK

（1）下载JDK：前往Oracle官网下载JDK 1.8版本，选择Linux版本，下载到本地。

（2）解压JDK：将下载的JDK压缩包解压到指定目录，例如/usr/local/jdk1.8.0_251。

（3）配置环境变量：编辑~/.bash_profile文件，添加以下内容：

export JAVA_HOME=/usr/local/jdk1.8.0_251
export PATH=$PATH:$JAVA_HOME/bin

（4）使环境变量生效：运行以下命令：

source ~/.bash_profile

2、安装Hadoop

（1）下载Hadoop：前往Apache Hadoop官网下载Hadoop 3.3.4版本，选择Linux版本，下载到本地。

（2）解压Hadoop：将下载的Hadoop压缩包解压到指定目录，例如/usr/local/hadoop-3.3.4。

图片来源于网络，如有侵权联系删除

（3）配置Hadoop环境变量：编辑~/.bash_profile文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

（4）使环境变量生效：运行以下命令：

source ~/.bash_profile

3、配置Hadoop

（1）编辑/usr/local/hadoop-3.3.4/etc/hadoop/hadoop-env.sh文件，配置JDK路径：

export JAVA_HOME=/usr/local/jdk1.8.0_251

（2）编辑/usr/local/hadoop-3.3.4/etc/hadoop/core-site.xml文件，配置HDFS存储目录：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

（3）编辑/usr/local/hadoop-3.3.4/etc/hadoop/hdfs-site.xml文件，配置HDFS副本因子和存储目录：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop-3.3.4/data/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop-3.3.4/data/hdfs/datanode</value>
    </property>
</configuration>

（4）编辑/usr/local/hadoop-3.3.4/etc/hadoop/mapred-site.xml文件，配置MapReduce运行模式：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

（5）编辑/usr/local/hadoop-3.3.4/etc/hadoop/yarn-site.xml文件，配置YARN资源管理器：

<configuration>
    <property>
        <name>yarn.resourcemanager.host</name>
        <value>localhost</value>
    </property>
</configuration>

启动Hadoop集群

1、格式化HDFS：

hadoop namenode -format

2、启动HDFS：

图片来源于网络，如有侵权联系删除

start-dfs.sh

3、启动YARN：

start-yarn.sh

4、查看Hadoop进程：

jps

测试Hadoop集群

1、创建HDFS文件系统：

hdfs dfs -mkdir -p /user/hadoop

2、上传文件到HDFS：

hdfs dfs -put /path/to/local/file /user/hadoop/

3、查看HDFS文件：

hdfs dfs -ls /user/hadoop/

4、下载HDFS文件：

hdfs dfs -get /user/hadoop/file /path/to/local/

至此，Hadoop伪分布式集群搭建完成，您可以根据实际需求，进一步学习和探索Hadoop的各项功能。

标签： #分布式集群搭建