hadoop伪分布式搭建全过程，Hadoop伪分布式环境搭建指南，从入门到实践

欧气 2024年10月22日 05:50 0 0

本文目录导读：

搭建环境

Hadoop作为一款开源的分布式计算框架，已经成为大数据领域的事实标准，在学习和实践Hadoop的过程中，搭建一个伪分布式环境是非常有必要的，本文将详细介绍Hadoop伪分布式环境的搭建过程，帮助读者从入门到实践，轻松掌握Hadoop。

搭建环境

1、准备工作

（1）操作系统：推荐使用Linux系统，本文以CentOS 7.0为例。

（2）Java环境：Hadoop需要Java环境，版本建议为1.8。

hadoop伪分布式搭建全过程，Hadoop伪分布式环境搭建指南，从入门到实践

图片来源于网络，如有侵权联系删除

（3）网络环境：确保各节点之间可以正常通信。

2、安装Java

（1）下载Java安装包：前往Oracle官网下载Java安装包，选择合适的版本。

（2）安装Java：

tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/local/

（3）配置环境变量：

vi /etc/profile

在文件末尾添加以下内容：

export JAVA_HOME=/usr/local/jdk1.8.0_231
export PATH=$PATH:$JAVA_HOME/bin

（4）使环境变量生效：

source /etc/profile

3、下载Hadoop

hadoop伪分布式搭建全过程，Hadoop伪分布式环境搭建指南，从入门到实践

图片来源于网络，如有侵权联系删除

（1）前往Apache Hadoop官网下载适合自己系统的Hadoop版本。

（2）解压Hadoop安装包：

tar -zxvf hadoop-3.3.4.tar.gz -C /usr/local/

4、配置Hadoop

（1）修改/usr/local/hadoop-3.3.4/etc/hadoop/hadoop-env.sh文件，设置Java环境变量：

export JAVA_HOME=/usr/local/jdk1.8.0_231

（2）修改/usr/local/hadoop-3.3.4/etc/hadoop/core-site.xml文件，配置Hadoop的存储目录：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop-3.3.4/tmp</value>
  </property>
</configuration>

（3）修改/usr/local/hadoop-3.3.4/etc/hadoop/hdfs-site.xml文件，配置HDFS的存储目录：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop-3.3.4/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop-3.3.4/hdfs/datanode</value>
  </property>
</configuration>

（4）修改/usr/local/hadoop-3.3.4/etc/hadoop/yarn-site.xml文件，配置YARN的存储目录：

<configuration>
  <property>
    <name>yarn.nodemanager.log.dir</name>
    <value>/usr/local/hadoop-3.3.4/yarn/log</value>
  </property>
</configuration>

（5）修改/usr/local/hadoop-3.3.4/etc/hadoop/mapred-site.xml文件，配置MapReduce的存储目录：

hadoop伪分布式搭建全过程，Hadoop伪分布式环境搭建指南，从入门到实践

图片来源于网络，如有侵权联系删除

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

5、格式化HDFS

hdfs namenode -format

6、启动Hadoop服务

start-dfs.sh
start-yarn.sh

7、测试Hadoop

打开浏览器，访问http://localhost:50070，查看HDFS的Web界面；打开另一个浏览器，访问http://localhost:8088，查看YARN的Web界面。

本文详细介绍了Hadoop伪分布式环境的搭建过程，从准备工作、安装Java、下载Hadoop、配置Hadoop、格式化HDFS到启动Hadoop服务，读者可以按照步骤进行实践，掌握Hadoop伪分布式环境搭建，为后续学习Hadoop生态圈的其他组件奠定了基础。

标签： #hadoop伪分布式搭建的步骤