搭建hadoop伪分布式环境步骤，深入浅出，Hadoop伪分布式环境搭建步骤详解

欧气 2024年11月11日 07:50 0 0

本文目录导读：

环境准备
Hadoop伪分布式环境搭建步骤

Hadoop作为一款分布式计算框架，已经广泛应用于大数据处理领域，在正式进行大数据项目开发之前，搭建一个Hadoop伪分布式环境是必不可少的，本文将详细介绍Hadoop伪分布式环境的搭建步骤，帮助读者轻松入门。

环境准备

1、操作系统：Linux（推荐使用CentOS 7）

2、JDK：1.8及以上版本

搭建hadoop伪分布式环境步骤，深入浅出，Hadoop伪分布式环境搭建步骤详解

图片来源于网络，如有侵权联系删除

3、Hadoop：3.x及以上版本（本文以Hadoop 3.3.4为例）

Hadoop伪分布式环境搭建步骤

1、安装JDK

确保系统中已安装JDK，如果没有安装，可以通过以下命令安装：

sudo yum install java-1.8.0-openjdk -y

安装完成后，验证JDK版本：

java -version

2、配置Java环境变量

打开终端，编辑~/.bash_profile文件：

vi ~/.bash_profile

在文件中添加以下内容：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.292.b10-0.el7_9.x86_64
export PATH=$JAVA_HOME/bin:$PATH

保存并退出编辑，使配置生效：

source ~/.bash_profile

3、下载Hadoop

搭建hadoop伪分布式环境步骤，深入浅出，Hadoop伪分布式环境搭建步骤详解

图片来源于网络，如有侵权联系删除

从Hadoop官网下载Hadoop 3.3.4版本，解压到指定目录：

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
tar -zxvf hadoop-3.3.4.tar.gz -C /usr/local/

4、配置Hadoop环境变量

在终端中，编辑~/.bash_profile文件：

vi ~/.bash_profile

在文件中添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存并退出编辑，使配置生效：

source ~/.bash_profile

5、配置Hadoop

进入Hadoop解压后的目录，复制配置文件：

cd /usr/local/hadoop-3.3.4
sudo cp etc/hadoop/hadoop-env.sh etc/hadoop/
sudo cp etc/hadoop/core-site.xml etc/hadoop/
sudo cp etc/hadoop/hdfs-site.xml etc/hadoop/
sudo cp etc/hadoop/mapred-site.xml etc/hadoop/

编辑etc/hadoop/core-site.xml文件：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

编辑etc/hadoop/hdfs-site.xml文件：

搭建hadoop伪分布式环境步骤，深入浅出，Hadoop伪分布式环境搭建步骤详解

图片来源于网络，如有侵权联系删除

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

编辑etc/hadoop/mapred-site.xml文件：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

6、格式化HDFS

格式化HDFS文件系统：

hdfs namenode -format

7、启动Hadoop服务

启动Hadoop服务：

start-dfs.sh
start-yarn.sh

8、测试Hadoop

通过Web界面查看Hadoop运行状态：

http://localhost:9870/
http://localhost:8088/

至此，Hadoop伪分布式环境搭建完成，您可以开始进行大数据项目开发了。

标签： #配置开发环境 - hadoop安装与伪分布式集群搭建情况