hadoop伪分布式安装教程，Hadoop伪分布式集群搭建，详细安装教程与步骤解析

欧气 2024年11月04日 07:36 0 0

本文目录导读：

概述

Hadoop是一款分布式存储和计算框架，广泛应用于大数据处理领域，本文将详细介绍Hadoop伪分布式集群的搭建过程，包括环境准备、安装步骤、配置文件修改、集群测试等。

图片来源于网络，如有侵权联系删除

1、操作系统：推荐使用Linux系统，如CentOS、Ubuntu等。

2、硬件环境：至少2G内存，建议4G以上。

3、软件环境：JDK 1.8及以上版本、SSH服务、Apache Hadoop 3.x版本。

1、安装JDK

（1）下载JDK安装包：前往Oracle官网下载JDK安装包，选择适合自己系统的版本。

（2）解压安装包：将下载的JDK安装包解压到指定目录，如/usr/local/。

（3）配置环境变量：打开/etc/profile文件，添加以下内容：

export JAVA_HOME=/usr/local/jdk1.8.0_231
export PATH=$PATH:$JAVA_HOME/bin

（4）使配置生效：运行source /etc/profile命令。

2、安装SSH服务

（1）安装SSH服务：运行以下命令安装SSH服务：

hadoop伪分布式安装教程，Hadoop伪分布式集群搭建，详细安装教程与步骤解析

图片来源于网络，如有侵权联系删除

yum install openssh-server

（2）启动SSH服务：运行以下命令启动SSH服务：

systemctl start sshd

（3）设置SSH服务开机自启：运行以下命令设置SSH服务开机自启：

systemctl enable sshd

3、安装Hadoop

（1）下载Hadoop安装包：前往Apache Hadoop官网下载适合自己系统的Hadoop安装包。

（2）解压安装包：将下载的Hadoop安装包解压到指定目录，如/usr/local/。

（3）配置环境变量：打开/etc/profile文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

（4）使配置生效：运行source /etc/profile命令。

1、修改/usr/local/hadoop-3.2.1/etc/hadoop/hadoop-env.sh文件，设置JDK路径：

export JAVA_HOME=/usr/local/jdk1.8.0_231

2、修改/usr/local/hadoop-3.2.1/etc/hadoop/core-site.xml文件，配置HDFS的存储目录：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

3、修改/usr/local/hadoop-3.2.1/etc/hadoop/hdfs-site.xml文件，配置HDFS的副本因子：

hadoop伪分布式安装教程，Hadoop伪分布式集群搭建，详细安装教程与步骤解析

图片来源于网络，如有侵权联系删除

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

4、修改/usr/local/hadoop-3.2.1/etc/hadoop/yarn-site.xml文件，配置YARN的ResourceManager地址：

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
</configuration>

1、启动Hadoop集群：运行以下命令启动Hadoop集群：

start-dfs.sh
start-yarn.sh

2、查看Hadoop进程：运行以下命令查看Hadoop进程：

jps

应看到以下进程：

4902 Jps
4955 NameNode
5056 ResourceManager
5132 SecondaryNameNode
5357 NodeManager

3、访问HDFS：运行以下命令访问HDFS：

hdfs dfs -ls /

应看到以下内容：

drwxr-xr-x - hdfs supergroup 0 2022-08-30 /

至此，Hadoop伪分布式集群搭建完成。