hadoop伪分布式集群搭建过程，深入浅出，Hadoop伪分布式集群搭建详解与实践

本文目录导读：

1. 搭建环境
2. 安装Hadoop
3. 启动Hadoop集群
4. 测试Hadoop集群

Hadoop作为一款开源的分布式计算框架，广泛应用于大数据处理领域，在搭建Hadoop集群时，伪分布式集群是一个很好的入门实践，本文将详细讲解Hadoop伪分布式集群的搭建过程，并通过实例操作，帮助读者轻松掌握Hadoop伪分布式集群的搭建技巧。

搭建环境

1、操作系统：CentOS 7

2、Hadoop版本：Hadoop 3.3.4

3、JDK版本：JDK 1.8

图片来源于网络，如有侵权联系删除

安装Hadoop

1、下载Hadoop安装包

从Apache官网下载Hadoop 3.3.4版本的安装包，下载地址：https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz

2、解压安装包

将下载的Hadoop安装包解压到指定目录，/opt/hadoop

3、配置环境变量

编辑profile文件，添加Hadoop环境变量：

vi /etc/profile

在文件末尾添加以下内容：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4、使环境变量生效

source /etc/profile

5、配置Hadoop

图片来源于网络，如有侵权联系删除

进入Hadoop配置目录，修改hadoop配置文件：

cd $HADOOP_HOME/etc/hadoop

1）修改core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop/tmp</value>
    </property>
</configuration>

2）修改hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/opt/hadoop/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/hadoop/hdfs/datanode</value>
    </property>
</configuration>

3）修改mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

4）修改yarn-site.xml

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
</configuration>

启动Hadoop集群

1、格式化NameNode

hdfs namenode -format

2、启动HDFS

start-dfs.sh

3、启动YARN

start-yarn.sh

4、查看Web界面

图片来源于网络，如有侵权联系删除

在浏览器中访问http://localhost:9870/，即可看到HDFS的Web界面；访问http://localhost:8088/，即可看到YARN的Web界面。

测试Hadoop集群

1、创建测试文件

hdfs dfs -put /opt/hadoop/etc/hadoop/core-site.xml /user/hadoop/core-site.xml

2、查看文件

hdfs dfs -ls /

输出：

drwxr-xr-x  -  hadoop  hadoop      0  2022-08-11  14:23  /
drwxr-xr-x  -  hadoop  hadoop      0  2022-08-11  14:23  user

3、查看文件内容

hdfs dfs -cat /user/hadoop/core-site.xml

输出：

<?xml version="1.0"?>
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop/tmp</value>
    </property>
</configuration>

至此，Hadoop伪分布式集群搭建完成，通过以上步骤，读者可以轻松掌握Hadoop伪分布式集群的搭建技巧，为后续大数据处理打下坚实基础。

标签： #hadoop分布式与伪分布式集群搭建