本文目录导读:
实验背景
随着大数据时代的到来,Hadoop作为一款分布式计算框架,被广泛应用于处理大规模数据集,为了深入了解Hadoop的架构和工作原理,我们进行了Hadoop伪分布式集群搭建实验,通过本实验,我们将学习如何从环境准备到集群运行,逐步搭建一个简单的Hadoop伪分布式环境。
实验环境
1、操作系统:Linux CentOS 7.4
2、Hadoop版本:Hadoop 3.2.1
图片来源于网络,如有侵权联系删除
3、JDK版本:Java 1.8.0_231
实验步骤
1、环境准备
(1)安装JDK
我们需要安装Java开发环境,通过以下命令安装JDK:
sudo yum install java-1.8.0-openjdk
安装完成后,验证JDK版本:
java -version
(2)配置环境变量
编辑~/.bash_profile
文件,添加以下内容:
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.231.b09-0.el7_9.x86_64 export PATH=$JAVA_HOME/bin:$PATH
使配置生效:
source ~/.bash_profile
2、下载Hadoop
从Hadoop官网下载Hadoop 3.2.1版本,解压到指定目录:
sudo tar -zxvf hadoop-3.2.1.tar.gz -C /opt/hadoop
3、配置Hadoop
图片来源于网络,如有侵权联系删除
(1)修改hadoop-env.sh
文件
编辑/opt/hadoop/etc/hadoop/hadoop-env.sh
文件,配置JDK路径:
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.231.b09-0.el7_9.x86_64
(2)配置core-site.xml
文件
编辑/opt/hadoop/etc/hadoop/core-site.xml
文件,配置Hadoop运行时的基本参数:
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/hadoop/tmp</value> </property> </configuration>
(3)配置hdfs-site.xml
文件
编辑/opt/hadoop/etc/hadoop/hdfs-site.xml
文件,配置HDFS的存储参数:
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
(4)配置mapred-site.xml
文件
编辑/opt/hadoop/etc/hadoop/mapred-site.xml
文件,配置MapReduce的相关参数:
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
(5)配置yarn-site.xml
文件
编辑/opt/hadoop/etc/hadoop/yarn-site.xml
文件,配置YARN的相关参数:
<configuration> <property> <name>yarn.resourcemanager.host</name> <value>localhost</value> </property> </configuration>
4、格式化HDFS
图片来源于网络,如有侵权联系删除
在Hadoop目录下执行以下命令,格式化HDFS:
sudo -u hdfs hdfs namenode -format
5、启动Hadoop集群
(1)启动HDFS
在Hadoop目录下执行以下命令,启动HDFS:
sudo -u hdfs start-dfs.sh
(2)启动YARN
在Hadoop目录下执行以下命令,启动YARN:
sudo -u yarn start-yarn.sh
6、验证集群运行
通过浏览器访问HDFS的Web界面:http://localhost:50070,查看HDFS的健康状态。
通过浏览器访问YARN的Web界面:http://localhost:8088,查看YARN的健康状态。
通过本实验,我们成功搭建了一个Hadoop伪分布式集群,在实验过程中,我们学习了Hadoop的环境准备、配置、启动和验证等步骤,通过实际操作,我们对Hadoop的架构和工作原理有了更深入的了解,在后续的学习中,我们将继续深入研究Hadoop的其他功能,如Hive、HBase等,以更好地应对大数据时代的挑战。
标签: #hadoop集群伪分布式搭建实验报告
评论列表