hadoop伪分布式搭建全过程，Hadoop伪分布式环境搭建全攻略，从入门到实践

本文目录导读：

1. 准备工作
2. 安装步骤

在当今大数据时代，Hadoop作为一款强大的分布式计算框架，已经成为处理海量数据的首选工具，本文将详细阐述如何搭建一个Hadoop伪分布式平台，帮助初学者从零开始，逐步掌握Hadoop的核心技术。

准备工作

1、操作系统：选择一个支持Hadoop的操作系统，如CentOS 7、Ubuntu 16.04等。

2、JDK：Hadoop基于Java开发，需要安装JDK，建议安装JDK 1.8版本。

图片来源于网络，如有侵权联系删除

3、SSH：使用SSH密钥认证，简化远程登录过程。

安装步骤

1、安装JDK

（1）下载JDK安装包：从Oracle官网下载JDK 1.8安装包。

（2）解压安装包：将下载的JDK安装包解压到指定目录，如/usr/local/jdk1.8.0_251。

（3）配置环境变量：编辑~/.bash_profile文件，添加以下内容：

export JAVA_HOME=/usr/local/jdk1.8.0_251
export PATH=$JAVA_HOME/bin:$PATH

（4）使环境变量生效：执行source ~/.bash_profile。

2、安装SSH

（1）使用包管理器安装SSH：在CentOS中，执行yum install openssh-server；在Ubuntu中，执行sudo apt-get install openssh-server。

（2）生成SSH密钥对：在终端中执行ssh-keygen -t rsa，然后按照提示完成操作。

图片来源于网络，如有侵权联系删除

3、下载Hadoop

（1）下载Hadoop安装包：从Apache Hadoop官网下载适合当前操作系统的Hadoop安装包。

（2）解压安装包：将下载的Hadoop安装包解压到指定目录，如/usr/local/hadoop-3.2.1。

4、配置Hadoop

（1）编辑/usr/local/hadoop-3.2.1/etc/hadoop/hadoop-env.sh文件，设置JDK路径：

export JAVA_HOME=/usr/local/jdk1.8.0_251

（2）编辑/usr/local/hadoop-3.2.1/etc/hadoop/core-site.xml文件，添加以下内容：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

（3）编辑/usr/local/hadoop-3.2.1/etc/hadoop/hdfs-site.xml文件，添加以下内容：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

（4）编辑/usr/local/hadoop-3.2.1/etc/hadoop/yarn-site.xml文件，添加以下内容：

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
</configuration>

5、格式化HDFS

图片来源于网络，如有侵权联系删除

在终端中执行以下命令，格式化HDFS：

hdfs namenode -format

6、启动Hadoop服务

在终端中执行以下命令，分别启动HDFS和YARN服务：

start-dfs.sh
start-yarn.sh

7、验证Hadoop是否启动成功

在浏览器中访问http://localhost:50070，查看HDFS Web界面；在浏览器中访问http://localhost:8088，查看YARN Web界面。

至此，Hadoop伪分布式平台搭建完成，您可以开始使用Hadoop进行分布式计算了。

标签： #hadoop伪分布式平台搭建