hadoop安装与伪分布式集群搭建头歌超详细具体步骤，Hadoop安装与伪分布式集群搭建实战指南，从零开始构建大数据平台

本文目录导读：

1. 环境准备
2. 安装JDK
3. 安装SSH服务
4. 安装Hadoop
5. 配置Hadoop
6. 格式化HDFS
7. 启动Hadoop服务
8. 验证集群状态

随着大数据时代的到来，Hadoop作为一款开源的分布式计算框架，在处理海量数据方面具有显著优势，本文将详细介绍Hadoop安装与伪分布式集群搭建的步骤，帮助您从零开始构建大数据平台。

环境准备

1、操作系统：推荐使用Linux操作系统，如CentOS 7、Ubuntu 18.04等。

图片来源于网络，如有侵权联系删除

2、软件包：安装Java开发包（JDK）、SSH服务、Python等。

3、网络环境：确保网络畅通，以便集群节点之间进行通信。

安装JDK

1、下载JDK：前往Oracle官网下载适合Linux系统的JDK版本。

2、解压JDK：将下载的JDK压缩包解压到指定目录，如/usr/local/。

3、设置环境变量：编辑/etc/profile文件，添加以下内容：

export JAVA_HOME=/usr/local/jdk1.8.0_231
export PATH=$PATH:$JAVA_HOME/bin

4、使环境变量生效：执行以下命令：

source /etc/profile

5、验证JDK安装：在终端执行java -version命令，查看JDK版本信息。

安装SSH服务

1、安装SSH服务：在终端执行以下命令：

sudo yum install openssh-server

2、启动SSH服务：在终端执行以下命令：

sudo systemctl start sshd

3、设置SSH服务开机自启：在终端执行以下命令：

图片来源于网络，如有侵权联系删除

sudo systemctl enable sshd

安装Hadoop

1、下载Hadoop：前往Apache Hadoop官网下载适合Linux系统的Hadoop版本。

2、解压Hadoop：将下载的Hadoop压缩包解压到指定目录，如/usr/local/。

3、设置环境变量：编辑/etc/profile文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

4、使环境变量生效：执行以下命令：

source /etc/profile

配置Hadoop

1、配置Hadoop配置文件：将/usr/local/hadoop-3.3.4/etc/hadoop目录下的core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml文件分别复制到/etc/hadoop目录下。

2、修改core-site.xml文件：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

3、修改hdfs-site.xml文件：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop-3.3.4/data/hdfs/nn</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop-3.3.4/data/hdfs/dn</value>
  </property>
</configuration>

4、修改mapred-site.xml文件：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

5、修改yarn-site.xml文件：

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

格式化HDFS

在终端执行以下命令，格式化HDFS：

图片来源于网络，如有侵权联系删除

hadoop namenode -format

启动Hadoop服务

1、启动NameNode：在终端执行以下命令：

start-dfs.sh

2、启动ResourceManager：在终端执行以下命令：

start-yarn.sh

3、启动HistoryServer：在终端执行以下命令：

mr-jobhistory-daemon.sh start historyserver

验证集群状态

1、查看NameNode状态：在终端执行以下命令：

jps

2、查看ResourceManager状态：在终端执行以下命令：

jps

3、查看HistoryServer状态：在终端执行以下命令：

jps

至此，Hadoop伪分布式集群搭建完成，您可以使用Hadoop命令行工具进行数据存储、处理和分析。

标签： #hadoop安装与伪分布式集群搭建头歌