hadoop伪分布式安装实验报告，hadoop伪分布式安装实验总结

Hadoop 伪分布式安装实验总结

一、实验目的

本次实验旨在熟悉 Hadoop 生态系统的核心组件，掌握 Hadoop 伪分布式环境的搭建和配置，为后续学习和实践 Hadoop 大数据处理技术打下基础。

二、实验环境

1、操作系统：CentOS 7.6

2、JDK 版本：1.8.0_292

3、Hadoop 版本：3.3.1

三、实验步骤

1、安装 JDK：

- 下载 JDK 安装包并解压到指定目录。

- 配置环境变量，将 JDK 安装目录添加到系统环境变量中。

- 验证 JDK 是否安装成功，在终端输入java -version命令，查看 JDK 版本信息。

2、下载 Hadoop 安装包：

- 访问 Hadoop 官方网站，下载适合的 Hadoop 版本。

- 解压 Hadoop 安装包到指定目录。

3、配置 Hadoop 环境变量：

- 编辑/etc/profile文件，添加 Hadoop 环境变量。

- 保存并退出文件，使环境变量生效。

4、格式化 HDFS 文件系统：

- 进入 Hadoop 安装目录的bin目录。

- 执行hdfs namenode -format命令，格式化 HDFS 文件系统。

5、启动 Hadoop 服务：

- 执行start-dfs.sh命令，启动 HDFS 服务。

- 执行start-yarn.sh命令，启动 YARN 服务。

6、验证 Hadoop 服务是否启动成功：

- 访问 Hadoop 管理界面，查看 HDFS 和 YARN 服务的状态。

- 在终端输入jps命令，查看 Hadoop 进程是否正常运行。

四、实验结果

1、HDFS 服务启动成功：

- 可以在 Hadoop 管理界面看到 HDFS 名称节点和数据节点的状态为“活跃”。

- 在终端输入hdfs dfs -ls /命令，查看 HDFS 文件系统的根目录下的文件和文件夹。

2、YARN 服务启动成功：

- 可以在 Hadoop 管理界面看到 YARN 资源管理器和节点管理器的状态为“活跃”。

- 在终端输入yarn node -list命令，查看 YARN 集群中的节点信息。

五、实验总结

通过本次实验，我成功搭建了 Hadoop 伪分布式环境，并熟悉了 Hadoop 生态系统的核心组件，在实验过程中，我遇到了一些问题，如 JDK 环境变量配置错误、Hadoop 服务启动失败等，通过查阅相关资料和调试，我最终解决了这些问题，顺利完成了实验。

在今后的学习和实践中，我将继续深入学习 Hadoop 大数据处理技术，掌握更多的 Hadoop 相关知识和技能，我也将关注 Hadoop 技术的发展动态，不断提升自己的技术水平。

标签： #hadoop #伪分布式 #安装 #实验