本教程深入浅出地介绍了Hadoop的安装与伪分布式集群搭建，旨在帮助初学者从入门到实战，全面掌握Hadoop技术。通过详细步骤和实战案例，读者将学会如何搭建一个高效稳定的Hadoop环境。
本文目录导读：
随着大数据时代的到来，Hadoop作为一款分布式计算框架，在处理海量数据方面发挥着重要作用，本文将详细讲解Hadoop的安装与伪分布式集群搭建过程，帮助读者从入门到实战，掌握Hadoop的基本应用。
Hadoop简介
Hadoop是一个开源的分布式计算框架，由Apache软件基金会开发，它主要解决海量数据的存储和计算问题，通过分布式文件系统（HDFS）和分布式计算框架（MapReduce）实现，Hadoop具有高可靠性、高扩展性、高容错性等特点，广泛应用于搜索引擎、电子商务、金融等行业。
Hadoop安装环境准备
1、操作系统：Linux系统（推荐使用CentOS 7）
图片来源于网络，如有侵权联系删除
2、JDK：1.8版本及以上
3、Hadoop版本：3.3.4（本文以该版本为例）
Hadoop安装步骤
1、安装JDK
（1）下载JDK安装包：访问Oracle官网下载JDK 1.8版本安装包。
（2）解压安装包：将下载的JDK安装包解压到指定目录，如/usr/local/jdk1.8.0_251。
（3）配置环境变量：编辑/etc/profile文件，添加以下内容：
export JAVA_HOME=/usr/local/jdk1.8.0_251 export PATH=$PATH:$JAVA_HOME/bin
（4）使配置生效：运行source /etc/profile命令。
2、安装Hadoop
（1）下载Hadoop安装包：访问Apache Hadoop官网下载Hadoop 3.3.4版本安装包。
（2）解压安装包：将下载的Hadoop安装包解压到指定目录，如/usr/local/hadoop-3.3.4。
图片来源于网络，如有侵权联系删除
（3）配置Hadoop环境变量：编辑/etc/profile文件，添加以下内容：
export HADOOP_HOME=/usr/local/hadoop-3.3.4 export PATH=$PATH:$HADOOP_HOME/bin
（4）使配置生效：运行source /etc/profile命令。
3、配置Hadoop
（1）编辑/usr/local/hadoop-3.3.4/etc/hadoop/hadoop-env.sh文件，设置JDK路径：
export JAVA_HOME=/usr/local/jdk1.8.0_251
（2）编辑/usr/local/hadoop-3.3.4/etc/hadoop/core-site.xml文件，配置HDFS存储目录：
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>（3）编辑/usr/local/hadoop-3.3.4/etc/hadoop/hdfs-site.xml文件，配置HDFS副本因子：
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>（4）编辑/usr/local/hadoop-3.3.4/etc/hadoop/mapred-site.xml文件，配置MapReduce计算框架：
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>（5）编辑/usr/local/hadoop-3.3.4/etc/hadoop/yarn-site.xml文件，配置YARN资源管理器：
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
</configuration>4、格式化HDFS
运行以下命令格式化HDFS：
图片来源于网络，如有侵权联系删除
hadoop namenode -format
伪分布式集群搭建
1、启动Hadoop服务
（1）启动NameNode：
start-dfs.sh
（2）启动SecondaryNameNode：
start--secondarynamenode.sh
（3）启动ResourceManager：
start-yarn.sh
（4）启动NodeManager：
start-dfs.sh
2、测试Hadoop服务
（1）在Hadoop命令行中运行hdfs dfs -ls命令，查看HDFS文件系统是否正常。
（2）在Hadoop命令行中运行yarn jar /usr/local/hadoop-3.3.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount /input/words /output命令，测试MapReduce计算框架是否正常。
本文详细介绍了Hadoop的安装与伪分布式集群搭建过程，通过本文的学习，读者可以掌握Hadoop的基本应用，为后续深入学习大数据技术打下基础，在实际应用中，Hadoop还可与其他大数据技术如Spark、Flink等进行整合，实现更强大的数据处理能力。
评论列表