hadoop伪分布式搭建步骤，hadoop伪分布式的搭建，Hadoop伪分布式环境搭建全攻略，从零开始构建大数据分析平台

欧气 2024年10月12日 19:08 1 0

本文详细介绍了Hadoop伪分布式搭建步骤，从零开始构建大数据分析平台。包括环境搭建、配置文件修改、启动Hadoop服务等内容，助您快速掌握Hadoop伪分布式搭建，为大数据分析打下坚实基础。

本文目录导读：

图片来源于网络，如有侵权联系删除

准备工作
安装JDK
安装Hadoop
启动Hadoop服务

在当今大数据时代，Hadoop作为一款开源的分布式计算框架，已经成为处理海量数据的重要工具，而伪分布式模式是Hadoop入门学习和测试的常用环境，它可以在单台机器上模拟多节点集群环境，本文将详细讲解如何从零开始搭建Hadoop伪分布式环境，帮助读者快速掌握Hadoop的基础知识。

准备工作

1、下载Hadoop：从Apache Hadoop官网（https://hadoop.apache.org/）下载适合自己操作系统的Hadoop版本，这里以Hadoop 3.3.1为例。

2、系统环境：Hadoop支持多种操作系统，如Linux、Mac OS和Windows，本文以Linux为例进行讲解。

3、安装JDK：Hadoop依赖Java运行环境，因此需要先安装JDK，本文以JDK 8为例。

安装JDK

1、下载JDK：从Oracle官网（https://www.oracle.com/java/technologies/javase-downloads.html）下载JDK 8。

2、解压JDK：将下载的JDK安装包解压到指定目录，例如/usr/local/jdk1.8.0_231。

3、设置环境变量：编辑~/.bash_profile文件，添加以下内容：

export JAVA_HOME=/usr/local/jdk1.8.0_231
export PATH=$JAVA_HOME/bin:$PATH

4、使环境变量生效：在终端执行以下命令：

source ~/.bash_profile

5、验证JDK安装：在终端执行以下命令，查看Java版本是否正确：

hadoop伪分布式搭建步骤，hadoop伪分布式的搭建，Hadoop伪分布式环境搭建全攻略，从零开始构建大数据分析平台

图片来源于网络，如有侵权联系删除

java -version

安装Hadoop

1、解压Hadoop：将下载的Hadoop安装包解压到指定目录，例如/usr/local/hadoop-3.3.1。

2、配置Hadoop环境变量：编辑~/.bash_profile文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-3.3.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3、使环境变量生效：在终端执行以下命令：

source ~/.bash_profile

4、配置Hadoop配置文件：

（1）编辑/usr/local/hadoop-3.3.1/etc/hadoop/hadoop-env.sh文件，设置JDK路径：

export JAVA_HOME=/usr/local/jdk1.8.0_231

（2）编辑/usr/local/hadoop-3.3.1/etc/hadoop/core-site.xml文件，添加以下内容：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

（3）编辑/usr/local/hadoop-3.3.1/etc/hadoop/hdfs-site.xml文件，添加以下内容：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

（4）编辑/usr/local/hadoop-3.3.1/etc/hadoop/yarn-site.xml文件，添加以下内容：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

启动Hadoop服务

1、格式化HDFS：在终端执行以下命令，格式化HDFS：

hadoop伪分布式搭建步骤，hadoop伪分布式的搭建，Hadoop伪分布式环境搭建全攻略，从零开始构建大数据分析平台

图片来源于网络，如有侵权联系删除

hdfs namenode -format

2、启动HDFS：在终端执行以下命令，启动HDFS：

start-dfs.sh

3、启动YARN：在终端执行以下命令，启动YARN：

start-yarn.sh

4、查看Web界面：在浏览器中输入以下地址，查看HDFS和YARN的Web界面：

- HDFS：http://localhost:50070

- YARN：http://localhost:8088

至此，Hadoop伪分布式环境搭建完成，您可以使用Hadoop提供的各种工具和示例程序，开始学习和实践大数据分析技术，祝您学习愉快！

标签： #Hadoop伪分布式配置