hadoop伪分布式安装详细步骤，Hadoop伪分布式集群搭建详细步骤详解

本文目录导读：

图片来源于网络，如有侵权联系删除

1. 环境准备
2. 安装步骤
3. 注意事项

环境准备

1、操作系统：CentOS 7.5（或其他Linux发行版）

2、Java环境：JDK 1.8

3、网络环境：确保所有节点间可以正常通信

4、磁盘空间：至少20GB

安装步骤

1、安装Java环境

（1）下载JDK 1.8安装包，解压到指定目录，/usr/local/java

（2）配置环境变量

打开终端，编辑文件：/etc/profile

在文件末尾添加以下内容：

export JAVA_HOME=/usr/local/java
export PATH=$PATH:$JAVA_HOME/bin

保存并退出文件，然后使用以下命令使配置生效：

source /etc/profile

2、下载Hadoop

（1）下载Hadoop 3.3.1安装包，解压到指定目录，/usr/local/hadoop

3、配置Hadoop环境

（1）修改配置文件

图片来源于网络，如有侵权联系删除

进入Hadoop配置目录：/usr/local/hadoop/etc/hadoop

编辑以下文件：

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

（2）配置SSH免密登录

在所有节点上生成密钥对：

ssh-keygen -t rsa -P '' -C 'your_email@example.com'

将公钥复制到所有节点：

ssh-copy-id -i ~/.ssh/id_rsa.pub root@node1

node1是第一个节点的IP地址。

4、格式化HDFS

hdfs namenode -format

5、启动Hadoop服务

（1）启动HDFS

start-dfs.sh

（2）启动YARN

图片来源于网络，如有侵权联系删除

start-yarn.sh

6、验证Hadoop安装

（1）访问HDFS网页

在浏览器中输入：http://localhost:50070，即可看到HDFS的Web界面。

（2）访问YARN网页

在浏览器中输入：http://localhost:8088，即可看到YARN的Web界面。

至此，Hadoop伪分布式集群搭建完成。

注意事项

1、在安装过程中，确保所有节点间可以正常通信。

2、修改配置文件时，注意文件路径和参数设置。

3、格式化HDFS前，请确保已创建足够的磁盘空间。

4、启动Hadoop服务时，请确保所有节点上的Hadoop配置一致。

通过以上步骤，您已经成功搭建了一个Hadoop伪分布式集群，您可以在此集群上运行Hadoop相关应用程序，进行大数据处理。

标签： #hadoop伪分布式集群安装步骤