本文目录导读：
概述
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集，本文将详细介绍Hadoop伪分布式环境的搭建步骤，帮助读者快速入门Hadoop。
环境要求
1、操作系统：Linux（推荐CentOS 7）
2、JDK：1.8及以上版本
图片来源于网络，如有侵权联系删除
3、Hadoop版本：3.2.1（或其他版本）
安装步骤
1、安装JDK
（1）下载JDK：从Oracle官网下载JDK安装包，选择合适的版本。
（2）上传JDK到服务器：使用scp命令将JDK安装包上传到服务器。
（3）解压JDK：使用tar -zxvf jdk-8uXXX-linux-x64.tar.gz命令解压JDK安装包。
（4）配置环境变量：编辑~/.bash_profile文件，添加以下内容：
export JAVA_HOME=/usr/local/jdk1.8.0_XXX export PATH=$JAVA_HOME/bin:$PATH
（5）使环境变量生效：使用source ~/.bash_profile命令使环境变量生效。
（6）验证JDK安装：使用java -version命令验证JDK安装是否成功。
2、安装Hadoop
（1）下载Hadoop：从Apache Hadoop官网下载Hadoop安装包，选择合适的版本。
图片来源于网络，如有侵权联系删除
（2）上传Hadoop到服务器：使用scp命令将Hadoop安装包上传到服务器。
（3）解压Hadoop：使用tar -zxvf hadoop-3.2.1.tar.gz命令解压Hadoop安装包。
（4）配置Hadoop：
a. 编辑etc/hadoop/hadoop-env.sh文件，配置JDK路径：
export JAVA_HOME=/usr/local/jdk1.8.0_XXX
b. 编辑etc/hadoop/core-site.xml文件，配置HDFS存储路径：
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-3.2.1/tmp</value>
</property>
</configuration>c. 编辑etc/hadoop/hdfs-site.xml文件，配置HDFS副本数量：
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>d. 编辑etc/hadoop/yarn-site.xml文件，配置YARN资源管理器：
<configuration>
<property>
<name>yarn.resourcemanager.host</name>
<value>localhost</value>
</property>
</configuration>e. 编辑etc/hadoop/mapred-site.xml文件，配置MapReduce：
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>3、格式化HDFS
（1）进入Hadoop安装目录，执行以下命令格式化HDFS：
图片来源于网络，如有侵权联系删除
hdfs namenode -format
（2）如果提示“Name node is in safe mode”信息，则等待一段时间后再次执行上述命令。
4、启动Hadoop服务
（1）启动NameNode：
start-dfs.sh
（2）启动ResourceManager：
start-yarn.sh
（3）启动HistoryServer：
mr-jobhistory-daemon.sh start historyserver
5、验证Hadoop环境
（1）进入HDFS命令行：
hdfs dfs -ls /
（2）如果显示HDFS目录结构，则表示Hadoop环境搭建成功。
本文详细介绍了Hadoop伪分布式环境的搭建步骤，包括安装JDK、Hadoop、格式化HDFS、启动Hadoop服务以及验证环境，读者可以根据本文步骤，快速搭建Hadoop伪分布式环境，为后续学习和实践打下基础。
标签： #hadoop伪分布式安装搭建步骤
评论列表