hadoop配置部署，深入浅出，Hadoop环境搭建与伪分布式集群部署全攻略

本文目录导读：

图片来源于网络，如有侵权联系删除

1. Hadoop环境搭建
2. 伪分布式集群搭建

随着大数据时代的到来，Hadoop作为一款开源的分布式计算框架，已经成为处理海量数据的重要工具，本文将为您详细讲解Hadoop的安装过程，并指导您如何搭建一个伪分布式集群，以便在实际应用中进行数据分析和处理。

Hadoop环境搭建

1、系统要求

在开始安装Hadoop之前，我们需要确保服务器满足以下要求：

（1）操作系统：Linux（本文以CentOS 7为例）

（2）硬件要求：至少2核CPU，4GB内存，40GB硬盘空间

（3）JDK：Hadoop需要JDK 1.6及以上版本，本文以JDK 1.8为例

2、安装JDK

（1）下载JDK安装包：前往Oracle官网下载适用于Linux的JDK安装包，jdk-8u251-linux-x64.tar.gz

（2）上传安装包：使用scp命令将安装包上传到服务器

（3）解压安装包：在服务器上解压安装包，解压后的目录为/jdk1.8.0_251

（4）配置环境变量：编辑~/.bash_profile文件，添加以下内容：

export JAVA_HOME=/usr/local/jdk1.8.0_251
export PATH=$JAVA_HOME/bin:$PATH

（5）使配置生效：执行source ~/.bash_profile命令，使配置生效

图片来源于网络，如有侵权联系删除

3、安装Hadoop

（1）下载Hadoop安装包：前往Apache Hadoop官网下载适用于Linux的Hadoop安装包，hadoop-3.3.4.tar.gz

（2）上传安装包：使用scp命令将安装包上传到服务器

（3）解压安装包：在服务器上解压安装包，解压后的目录为/hadoop-3.3.4

（4）配置环境变量：编辑~/.bash_profile文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

（5）使配置生效：执行source ~/.bash_profile命令，使配置生效

4、配置Hadoop

（1）配置hadoop-env.sh：编辑/hadoop-3.3.4/etc/hadoop/hadoop-env.sh文件，设置JDK路径：

export JAVA_HOME=/usr/local/jdk1.8.0_251

（2）配置core-site.xml：编辑/hadoop-3.3.4/etc/hadoop/core-site.xml文件，设置Hadoop运行时的基本参数：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop-3.3.4/tmp</value>
  </property>
</configuration>

（3）配置hdfs-site.xml：编辑/hadoop-3.3.4/etc/hadoop/hdfs-site.xml文件，设置HDFS的参数：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

（4）配置mapred-site.xml：编辑/hadoop-3.3.4/etc/hadoop/mapred-site.xml文件，设置MapReduce的参数：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

（5）配置yarn-site.xml：编辑/hadoop-3.3.4/etc/hadoop/yarn-site.xml文件，设置YARN的参数：

图片来源于网络，如有侵权联系删除

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

伪分布式集群搭建

1、格式化HDFS

执行以下命令，格式化HDFS：

hdfs namenode -format

2、启动Hadoop服务

执行以下命令，启动Hadoop服务：

start-dfs.sh
start-yarn.sh

3、访问Hadoop Web界面

在浏览器中输入以下地址，访问Hadoop Web界面：

http://localhost:50070

4、验证集群状态

在Hadoop Web界面上，您可以查看HDFS和YARN的状态，确认集群运行正常。

本文详细介绍了Hadoop的安装过程和伪分布式集群的搭建，通过本文的学习，您应该能够独立完成Hadoop环境的搭建和集群部署，在实际应用中，您可以根据需求对Hadoop进行优化和扩展，以便更好地处理海量数据。

标签： #第2关:配置开发环境 - hadoop安装与伪分布式集群搭建