搭建hadoop伪分布式环境步骤，第2关:配置开发环境 - hadoop安装与伪分布式集群搭建

欧气 2024年09月28日 09:04 2 0

标题：Hadoop 伪分布式环境搭建指南

一、引言

Hadoop 是一个开源的分布式计算框架，它可以处理大规模数据，在学习 Hadoop 之前，我们需要搭建一个伪分布式环境来进行实验和开发，本文将介绍如何搭建 Hadoop 伪分布式环境，包括安装 JDK、下载 Hadoop 并解压、配置环境变量、格式化 HDFS 文件系统、启动 Hadoop 服务等步骤。

二、准备工作

1、安装 JDK：Hadoop 是用 Java 编写的，因此需要安装 JDK，请下载并安装适合您操作系统的 JDK，并将其安装路径添加到环境变量中。

2、下载 Hadoop：请从 Hadoop 官方网站下载适合您操作系统的 Hadoop 版本。

3、解压 Hadoop：将下载的 Hadoop 压缩包解压到您指定的目录中。

三、配置环境变量

1、配置 Hadoop 环境变量：在解压的 Hadoop 目录中，找到 etc/hadoop 目录，将其复制到 /etc/profile.d 目录中，并将文件名修改为 hadoop-env.sh，在 hadoop-env.sh 文件中，设置 JAVA_HOME 环境变量，指向您安装的 JDK 目录。

2、配置 Hadoop 主节点环境变量：在 etc/hadoop 目录中，找到 core-site.xml 文件，将其复制到 /etc/profile.d 目录中，并将文件名修改为 core-site.sh，在 core-site.sh 文件中，设置以下属性：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/tmp/hadoop</value>
    </property>
</configuration>

3、配置 Hadoop 从节点环境变量：在 etc/hadoop 目录中，找到 slaves 文件，将其复制到 /etc/profile.d 目录中，并将文件名修改为 slaves.sh，在 slaves.sh 文件中，添加从节点的主机名或 IP 地址。

4、配置 Hadoop 日志目录：在 etc/hadoop 目录中，找到 mapred-site.xml 文件，将其复制到 /etc/profile.d 目录中，并将文件名修改为 mapred-site.sh，在 mapred-site.sh 文件中，设置以下属性：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.app-submission.cross-platform</name>
        <value>true</value>
    </property>
</configuration>

5、配置 Hadoop 资源管理器目录：在 etc/hadoop 目录中，找到 yarn-site.xml 文件，将其复制到 /etc/profile.d 目录中，并将文件名修改为 yarn-site.sh，在 yarn-site.sh 文件中，设置以下属性：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
</configuration>

四、格式化 HDFS 文件系统

在终端中，进入 Hadoop 安装目录的 bin 目录，执行以下命令格式化 HDFS 文件系统：