Hadoop伪分布式环境搭建全攻略，从入门到精通，hadoop伪分布式安装详细步骤

欧气 2024年11月20日 15:20 1 0

本文目录导读：

Hadoop作为一款开源的大数据处理框架，已经广泛应用于各个领域，本文将详细讲解Hadoop伪分布式环境的搭建步骤，帮助您从零开始，轻松掌握Hadoop的使用。

环境准备

1、操作系统：推荐使用Linux系统，如CentOS 7.0。

2、JDK：Hadoop依赖JDK，版本需大于或等于1.6。

3、Hadoop：本文以Hadoop 3.3.1版本为例。

Hadoop伪分布式环境搭建全攻略，从入门到精通，hadoop伪分布式安装详细步骤

图片来源于网络，如有侵权联系删除

1、安装JDK

（1）下载JDK安装包：访问Oracle官网下载对应版本的JDK安装包。

（2）解压安装包：在/home/hadoop目录下，使用以下命令解压安装包。

tar -zxvf jdk-8u171-linux-x64.tar.gz

（3）配置环境变量：编辑~/.bashrc文件，添加以下内容。

export JAVA_HOME=/home/hadoop/jdk1.8.0_171
export PATH=$JAVA_HOME/bin:$PATH

（4）使配置生效：使用source命令使配置生效。

source ~/.bashrc

2、安装Hadoop

（1）下载Hadoop安装包：访问Apache Hadoop官网下载对应版本的Hadoop安装包。

（2）解压安装包：在/home/hadoop目录下，使用以下命令解压安装包。

Hadoop伪分布式环境搭建全攻略，从入门到精通，hadoop伪分布式安装详细步骤

图片来源于网络，如有侵权联系删除

tar -zxvf hadoop-3.3.1.tar.gz

（3）配置Hadoop环境变量：编辑~/.bashrc文件，添加以下内容。

export HADOOP_HOME=/home/hadoop/hadoop-3.3.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

（4）使配置生效：使用source命令使配置生效。

source ~/.bashrc

3、配置Hadoop

（1）修改hadoop配置文件：编辑$HADOOP_HOME/etc/hadoop/core-site.xml，添加以下内容。

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

（2）修改hadoop配置文件：编辑$HADOOP_HOME/etc/hadoop/hdfs-site.xml，添加以下内容。

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

（3）修改hadoop配置文件：编辑$HADOOP_HOME/etc/hadoop/mapred-site.xml，添加以下内容。

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

4、格式化HDFS

在Hadoop命令行中，使用以下命令格式化HDFS。

Hadoop伪分布式环境搭建全攻略，从入门到精通，hadoop伪分布式安装详细步骤

图片来源于网络，如有侵权联系删除

hdfs namenode -format

5、启动Hadoop服务

（1）启动HDFS：在Hadoop命令行中，使用以下命令启动HDFS。

start-dfs.sh

（2）启动YARN：在Hadoop命令行中，使用以下命令启动YARN。

start-yarn.sh

6、验证Hadoop安装

在浏览器中输入http://localhost:50070，查看HDFS Web界面，验证Hadoop安装成功。

通过以上步骤，您已经成功搭建了Hadoop伪分布式环境，您可以开始学习Hadoop的各种应用，如MapReduce、Hive、HBase等，祝您学习愉快！