hadoop伪分布式安装详细步骤，Hadoop伪分布式集群搭建指南，从环境准备到配置完成

本文目录导读：

1. 环境准备
2. 安装步骤

环境准备

1、操作系统：选择Linux操作系统，推荐使用CentOS 7。

图片来源于网络，如有侵权联系删除

2、Java环境：Hadoop需要Java环境，版本要求为Java 8。

3、软件包：安装Hadoop所需软件包，包括Hadoop、JDK、SSH等。

安装步骤

1、安装JDK

（1）下载JDK安装包，选择与操作系统和位数相匹配的版本。

（2）解压JDK安装包到指定目录，如/usr/local。

（3）配置环境变量：

echo 'export JAVA_HOME=/usr/local/jdk1.8.0_231' >> /etc/profile
echo 'export PATH=$JAVA_HOME/bin:$PATH' >> /etc/profile
source /etc/profile

2、安装SSH

（1）打开终端，执行以下命令安装SSH：

sudo yum install openssh-server

（2）配置SSH免密码登录：

图片来源于网络，如有侵权联系删除

ssh-keygen -t rsa -P '' -C 'your_email@example.com'
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

3、下载Hadoop

（1）从Hadoop官网下载Hadoop安装包，选择与操作系统和位数相匹配的版本。

（2）解压Hadoop安装包到指定目录，如/usr/local。

4、配置Hadoop

（1）配置Hadoop环境变量：

echo 'export HADOOP_HOME=/usr/local/hadoop' >> /etc/profile
echo 'export PATH=$HADOOP_HOME/bin:$PATH' >> /etc/profile
source /etc/profile

（2）配置Hadoop配置文件：

cd /usr/local/hadoop/etc/hadoop

配置core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

配置hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

配置mapred-site.xml：

图片来源于网络，如有侵权联系删除

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

配置yarn-site.xml：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

5、格式化HDFS

hdfs namenode -format

6、启动Hadoop服务

start-dfs.sh
start-yarn.sh

7、验证Hadoop是否正常运行

打开浏览器，访问http://localhost:50070查看HDFS Web界面，访问http://localhost:8088查看YARN Web界面。

本文详细介绍了Hadoop伪分布式集群的安装步骤，包括环境准备、安装JDK、安装SSH、下载Hadoop、配置Hadoop、格式化HDFS、启动Hadoop服务以及验证Hadoop是否正常运行，希望本文能对您搭建Hadoop伪分布式集群有所帮助。

标签： #hadoop伪分布式集群安装步骤