hadoop安装与伪分布式集群搭建头歌超详细具体步骤，Hadoop安装与伪分布式集群搭建，从入门到精通的超详细教程

本文目录导读：

图片来源于网络，如有侵权联系删除

1. 环境准备
2. JDK安装
3. Hadoop安装
4. Hadoop伪分布式集群搭建

随着大数据时代的到来，Hadoop作为一款开源的大数据处理框架，已经成为许多企业和研究机构必备的技术，本文将详细讲解Hadoop的安装过程，并指导您搭建一个伪分布式集群，让您轻松入门Hadoop。

环境准备

1、操作系统：Linux（本文以CentOS 7为例）

2、JDK：Java Development Kit，版本为1.8

3、Hadoop：本文以Hadoop 3.3.4为例

JDK安装

1、下载JDK：前往Oracle官网下载JDK 1.8，选择Linux版本，并下载到本地

2、解压JDK：将下载的JDK压缩包解压到指定目录，/usr/local/jdk1.8.0_241

3、配置环境变量：编辑~/.bash_profile文件，添加以下内容：

export JAVA_HOME=/usr/local/jdk1.8.0_241
export PATH=$PATH:$JAVA_HOME/bin

4、使环境变量生效：执行source ~/.bash_profile命令

图片来源于网络，如有侵权联系删除

5、验证JDK安装：执行java -version命令，查看JDK版本信息

Hadoop安装

1、下载Hadoop：前往Apache Hadoop官网下载Hadoop 3.3.4版本，选择Linux版本，并下载到本地

2、解压Hadoop：将下载的Hadoop压缩包解压到指定目录，/usr/local/hadoop-3.3.4

3、配置环境变量：编辑~/.bash_profile文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

4、使环境变量生效：执行source ~/.bash_profile命令

5、配置Hadoop：进入Hadoop配置目录（/usr/local/hadoop-3.3.4/etc/hadoop），进行以下配置

（1）编辑hadoop-env.sh文件，配置JDK路径：

export JAVA_HOME=/usr/local/jdk1.8.0_241

（2）编辑core-site.xml文件，配置Hadoop运行时的系统参数：

图片来源于网络，如有侵权联系删除

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop-3.3.4/tmp</value>
  </property>
</configuration>

（3）编辑hdfs-site.xml文件，配置HDFS参数：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop-3.3.4/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop-3.3.4/hdfs/datanode</value>
  </property>
</configuration>

（4）编辑yarn-site.xml文件，配置YARN参数：

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
</configuration>

Hadoop伪分布式集群搭建

1、格式化NameNode：在Hadoop配置目录下执行以下命令，格式化NameNode：

hdfs namenode -format

2、启动Hadoop服务：在Hadoop配置目录下执行以下命令，启动Hadoop服务：

start-dfs.sh
start-yarn.sh

3、查看Hadoop服务状态：在浏览器中输入http://localhost:9870/，查看HDFS状态；在浏览器中输入http://localhost:8088/，查看YARN状态。

本文详细讲解了Hadoop的安装过程，并指导您搭建了一个伪分布式集群，通过本文的学习，相信您已经掌握了Hadoop的基本操作，您可以进一步学习Hadoop的高级特性，例如MapReduce、Hive、HBase等，为您的数据处理之路奠定坚实的基础。

标签： #hadoop安装与伪分布式集群搭建头歌