hadoop伪分布模式安装，Hadoop伪分布式环境搭建全攻略，轻松入门大数据处理

本文目录导读：

1. 简介
2. 环境准备
3. 安装步骤

简介

Hadoop是一款开源的大数据处理框架，它能够对大规模数据集进行分布式存储和并行处理，伪分布式模式是Hadoop的一个简单模式，用于开发和测试环境，本文将详细介绍Hadoop伪分布式环境的搭建过程，帮助您轻松入门大数据处理。

环境准备

1、操作系统：Linux（推荐使用CentOS 7）

2、JDK：1.8及以上版本

3、Hadoop版本：2.x或3.x

图片来源于网络，如有侵权联系删除

4、网络环境：确保各节点之间可以正常通信

安装步骤

1、安装JDK

（1）下载JDK安装包：https://www.oracle.com/java/technologies/javase-downloads.html

（2）解压安装包：tar -xvf jdk-8uXXX-linux-x64.tar.gz

（3）配置环境变量：编辑.bashrc文件，添加以下内容：

export JAVA_HOME=/usr/local/jdk1.8.0_XXX
export PATH=$PATH:$JAVA_HOME/bin

（4）使环境变量生效：source .bashrc

2、安装Hadoop

（1）下载Hadoop安装包：https://hadoop.apache.org/releases.html

图片来源于网络，如有侵权联系删除

（2）解压安装包：tar -xvf hadoop-3.2.1.tar.gz

（3）配置Hadoop环境变量：编辑.bashrc文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

（4）使环境变量生效：source .bashrc

3、配置Hadoop

（1）修改hadoop配置文件：cd $HADOOP_HOME/etc/hadoop

（2）编辑core-site.xml：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop-3.2.1/tmp</value>
  </property>
</configuration>

（3）编辑hdfs-site.xml：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

（4）编辑mapred-site.xml：

图片来源于网络，如有侵权联系删除

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

（5）编辑yarn-site.xml：

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
</configuration>

4、格式化HDFS

hadoop namenode -format

5、启动Hadoop服务

start-dfs.sh
start-yarn.sh

6、验证Hadoop环境

在浏览器中访问http://localhost:50070，查看HDFS Web界面；在浏览器中访问http://localhost:8088，查看YARN Web界面。

本文详细介绍了Hadoop伪分布式环境的搭建过程，包括环境准备、安装JDK、安装Hadoop、配置Hadoop以及启动Hadoop服务，通过本文的指导，您将能够轻松搭建Hadoop伪分布式环境，为后续的大数据处理打下基础。

标签： #hadoop伪分布式安装搭建步骤