本文目录导读：
图片来源于网络，如有侵权联系删除
环境准备
在搭建Hadoop伪分布式环境之前，我们需要准备以下软件和硬件：
1、操作系统：Linux操作系统，推荐使用CentOS 7；
2、JDK：Java Development Kit，推荐版本为1.8；
3、Hadoop：推荐版本为3.2.1。
JDK安装
1、下载JDK安装包：前往Oracle官网下载JDK安装包，选择适合Linux操作系统的版本，jdk-8u251-linux-x64.tar.gz。
2、解压JDK安装包：在Linux系统中，使用以下命令解压JDK安装包。
tar -zxvf jdk-8u251-linux-x64.tar.gz
3、配置环境变量：编辑~/.bash_profile文件，添加以下内容。
export JAVA_HOME=/usr/local/jdk1.8.0_251 export PATH=$PATH:$JAVA_HOME/bin
4、使环境变量生效：执行以下命令使环境变量生效。
图片来源于网络，如有侵权联系删除
source ~/.bash_profile
5、验证JDK安装：在终端中执行以下命令验证JDK安装是否成功。
java -version
Hadoop安装
1、下载Hadoop安装包：前往Apache Hadoop官网下载适合Linux操作系统的Hadoop安装包，hadoop-3.2.1.tar.gz。
2、解压Hadoop安装包：在Linux系统中，使用以下命令解压Hadoop安装包。
tar -zxvf hadoop-3.2.1.tar.gz
3、配置Hadoop环境变量：编辑~/.bash_profile文件，添加以下内容。
export HADOOP_HOME=/usr/local/hadoop-3.2.1 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin
4、使环境变量生效：执行以下命令使环境变量生效。
source ~/.bash_profile
5、配置Hadoop配置文件：进入Hadoop配置目录（/usr/local/hadoop-3.2.1/etc/hadoop），编辑以下文件。
（1）core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-3.2.1/tmp</value>
</property>
</configuration>（2）hdfs-site.xml
图片来源于网络，如有侵权联系删除
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>（3）mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>（4）yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>启动Hadoop集群
1、格式化HDFS：在终端中执行以下命令格式化HDFS。
hdfs namenode -format
2、启动Hadoop守护进程：在终端中执行以下命令启动Hadoop守护进程。
start-dfs.sh start-yarn.sh
3、验证Hadoop集群启动：在浏览器中输入http://localhost:50070/，即可查看Hadoop集群的Web界面。
本文详细介绍了Hadoop伪分布式环境的搭建过程，从环境准备到JDK和Hadoop的安装，再到配置Hadoop配置文件和启动Hadoop集群，通过本文的讲解，读者可以快速搭建Hadoop伪分布式环境，为后续学习Hadoop大数据技术打下基础。
标签： #hadoop伪分布式环境搭建步骤
评论列表