hadoop伪分布式集群安装步骤，hadoop伪分布式安装搭建步骤，Hadoop伪分布式集群安装与配置指南

本文介绍了Hadoop伪分布式集群的安装步骤和配置指南。详细阐述了Hadoop伪分布式安装搭建过程，旨在帮助读者快速掌握Hadoop伪分布式集群的安装与配置方法。

本文目录导读：

图片来源于网络，如有侵权联系删除

1. 环境准备
2. 安装JDK
3. 安装Hadoop
4. 配置Hadoop
5. 格式化HDFS
6. 启动Hadoop集群

环境准备

1、操作系统：选择Linux操作系统，推荐使用CentOS 7。

2、JDK：Hadoop要求JDK版本为1.6或以上，推荐使用JDK 1.8。

3、网络配置：确保集群中所有节点之间网络互通。

安装JDK

1、下载JDK：前往Oracle官网下载JDK，选择合适的版本和平台。

2、解压JDK：将下载的JDK压缩包解压到指定目录，如/usr/local/。

3、设置环境变量：在/etc/profile文件中添加以下内容：

export JAVA_HOME=/usr/local/jdk1.8.0_231
export PATH=$PATH:$JAVA_HOME/bin

4、使环境变量生效：执行source /etc/profile命令。

安装Hadoop

1、下载Hadoop：前往Apache Hadoop官网下载Hadoop压缩包，推荐使用最新的稳定版。

图片来源于网络，如有侵权联系删除

2、解压Hadoop：将下载的Hadoop压缩包解压到指定目录，如/usr/local/。

3、配置Hadoop环境变量：在/etc/profile文件中添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4、使环境变量生效：执行source /etc/profile命令。

配置Hadoop

1、修改/usr/local/hadoop-3.3.4/etc/hadoop/hadoop-env.sh文件，设置JDK路径：

export JAVA_HOME=/usr/local/jdk1.8.0_231

2、修改/usr/local/hadoop-3.3.4/etc/hadoop/core-site.xml文件，配置HDFS的存储路径：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

3、修改/usr/local/hadoop-3.3.4/etc/hadoop/hdfs-site.xml文件，配置HDFS的副本因子和存储路径：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop-3.3.4/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop-3.3.4/hdfs/datanode</value>
  </property>
</configuration>

4、修改/usr/local/hadoop-3.3.4/etc/hadoop/yarn-site.xml文件，配置YARN的ResourceManager和NodeManager的存储路径：

<configuration>
  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/usr/local/hadoop-3.3.4/yarn/local</value>
  </property>
  <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/usr/local/hadoop-3.3.4/yarn/log</value>
  </property>
</configuration>

5、修改/usr/local/hadoop-3.3.4/etc/hadoop/mapred-site.xml文件，配置MapReduce的存储路径：

图片来源于网络，如有侵权联系删除

<configuration>
  <property>
    <name>mapreduce.jobtracker.outputpath</name>
    <value>/usr/local/hadoop-3.3.4/mapred/output</value>
  </property>
</configuration>

格式化HDFS

1、执行以下命令，格式化HDFS：

hdfs namenode -format

2、格式化完成后，会生成/usr/local/hadoop-3.3.4/hdfs/namenode目录。

启动Hadoop集群

1、启动NameNode：

start-dfs.sh

2、启动ResourceManager：

start-yarn.sh

3、启动HistoryServer：

mr-jobhistory-daemon.sh start historyserver

至此，Hadoop伪分布式集群安装与配置完成，您可以通过Web界面访问HDFS和YARN，查看集群状态。