hadoop伪分布式环境搭建步骤，Hadoop 伪分布式环境搭建详解，从零开始构建分布式大数据平台

本文目录导读：

1. 准备工作
2. 安装 JDK
3. 安装 Hadoop
4. 配置 Hadoop
5. 格式化 HDFS
6. 启动 Hadoop 伪分布式环境

随着大数据时代的到来，Hadoop 作为一款开源的分布式大数据处理框架，已成为处理海量数据的首选工具，伪分布式模式是 Hadoop 初学者了解其架构和功能的基础环境，本文将详细介绍 Hadoop 伪分布式环境的搭建步骤，帮助您从零开始构建自己的分布式大数据平台。

准备工作

1、硬件环境：一台具有充足内存（至少 4GB）和存储空间的计算机。

图片来源于网络，如有侵权联系删除

2、操作系统：推荐使用 Linux 系统，如 Ubuntu、CentOS 等。

3、软件环境：JDK（Java 开发工具包）、Hadoop 伪分布式版。

安装 JDK

1、下载 JDK：前往 Oracle 官网下载适用于您的 Linux 系统版本的 JDK 安装包。

2、安装 JDK：使用tar -zxvf jdk-版本.tar.gz 解压安装包，然后将解压后的目录移动到/usr/local/ 目录下，如mv jdk-版本 /usr/local/jdk-版本。

3、配置环境变量：编辑~/.bashrc 文件，添加以下内容：

   export JAVA_HOME=/usr/local/jdk-版本
   export PATH=$JAVA_HOME/bin:$PATH

4、使环境变量生效：执行source ~/.bashrc 命令。

安装 Hadoop

1、下载 Hadoop：前往 Apache Hadoop 官网下载适用于您的 Linux 系统版本的 Hadoop 安装包。

图片来源于网络，如有侵权联系删除

2、安装 Hadoop：使用tar -zxvf hadoop-版本.tar.gz 解压安装包，然后将解压后的目录移动到/usr/local/ 目录下，如mv hadoop-版本 /usr/local/hadoop-版本。

3、配置环境变量：编辑~/.bashrc 文件，添加以下内容：

   export HADOOP_HOME=/usr/local/hadoop-版本
   export PATH=$HADOOP_HOME/bin:$PATH

4、使环境变量生效：执行source ~/.bashrc 命令。

配置 Hadoop

1、编辑hadoop-版本/etc/hadoop/core-site.xml 文件，添加以下内容：

   <configuration>
       <property>
           <name>fs.defaultFS</name>
           <value>hdfs://localhost:9000</value>
       </property>
   </configuration>

2、编辑hadoop-版本/etc/hadoop/hdfs-site.xml 文件，添加以下内容：

   <configuration>
       <property>
           <name>dfs.replication</name>
           <value>1</value>
       </property>
   </configuration>

3、编辑hadoop-版本/etc/hadoop/yarn-site.xml 文件，添加以下内容：

   <configuration>
       <property>
           <name>yarn.resourcemanager.hostname</name>
           <value>localhost</value>
       </property>
   </configuration>

格式化 HDFS

1、执行以下命令格式化 HDFS：

图片来源于网络，如有侵权联系删除

   hadoop fsformat -Dfs.defaultFS=hdfs://localhost:9000

启动 Hadoop 伪分布式环境

1、启动 NameNode：

   start-dfs.sh

2、启动 ResourceManager：

   start-yarn.sh

3、检查 Hadoop 伪分布式环境是否启动成功：

- 在浏览器中访问http://localhost:50070 查看 HDFS 状态。

- 在浏览器中访问http://localhost:8088 查看 YARN 状态。

至此，Hadoop 伪分布式环境搭建完成，您可以在此环境中进行 Hadoop 相关的编程和实践，为深入学习大数据技术打下坚实基础。

标签： #hadoop伪分布式安装搭建步骤