hadoop伪分布式环境搭建步骤，hadoop伪分布式环境搭建，Hadoop伪分布式环境搭建详解，从零开始构建大数据平台

欧气 2024年10月04日 02:25 1 0

本文详细介绍了Hadoop伪分布式环境搭建的步骤，从零开始构建大数据平台。通过清晰的步骤和详细的解释，帮助读者轻松掌握Hadoop伪分布式环境搭建技巧。

本文目录导读：

随着大数据时代的到来，越来越多的企业和组织开始关注大数据技术，Hadoop作为一款开源的大数据处理框架，在全球范围内得到了广泛的应用，本文将详细介绍Hadoop伪分布式环境的搭建过程，帮助您从零开始构建大数据平台。

图片来源于网络，如有侵权联系删除

环境准备

1、操作系统：推荐使用CentOS 7.0及以上版本。

2、JDK：推荐使用JDK 1.8。

3、SSH：用于远程登录和免密码登录。

4、安装工具：推荐使用Yum包管理器。

1、安装JDK

（1）下载JDK：前往Oracle官网下载JDK 1.8。

（2）解压JDK：将下载的JDK文件解压到指定目录，如/usr/local/jdk1.8.0_251。

（3）配置环境变量：在/etc/profile文件中添加以下内容：

export JAVA_HOME=/usr/local/jdk1.8.0_251
export PATH=$PATH:$JAVA_HOME/bin

（4）使环境变量生效：执行以下命令使环境变量生效：

source /etc/profile

2、安装SSH

（1）使用Yum包管理器安装SSH：

hadoop伪分布式环境搭建步骤，hadoop伪分布式环境搭建，Hadoop伪分布式环境搭建详解，从零开始构建大数据平台

图片来源于网络，如有侵权联系删除

yum install openssh-server

（2）启动SSH服务：

systemctl start sshd

（3）设置SSH服务开机自启：

systemctl enable sshd

3、下载Hadoop

（1）前往Apache Hadoop官网下载Hadoop 3.3.4版本。

（2）解压Hadoop：将下载的Hadoop文件解压到指定目录，如/usr/local/hadoop-3.3.4。

4、配置Hadoop

（1）编辑/usr/local/hadoop-3.3.4/etc/hadoop/hadoop-env.sh文件，设置JDK路径：

export JAVA_HOME=/usr/local/jdk1.8.0_251

（2）编辑/usr/local/hadoop-3.3.4/etc/hadoop/core-site.xml文件，配置Hadoop运行时的系统属性：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

（3）编辑/usr/local/hadoop-3.3.4/etc/hadoop/hdfs-site.xml文件，配置HDFS存储系统属性：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

（4）编辑/usr/local/hadoop-3.3.4/etc/hadoop/yarn-site.xml文件，配置YARN资源管理器属性：

<configuration>
    <property>
        <name>yarn.resourcemanager.host</name>
        <value>localhost</value>
    </property>
</configuration>

5、格式化HDFS

hadoop伪分布式环境搭建步骤，hadoop伪分布式环境搭建，Hadoop伪分布式环境搭建详解，从零开始构建大数据平台

图片来源于网络，如有侵权联系删除

在终端中执行以下命令，格式化HDFS：

hdfs namenode -format

6、启动Hadoop服务

（1）启动HDFS：

start-dfs.sh

（2）启动YARN：

start-yarn.sh

（3）启动History Server：

mr-jobhistory-daemon.sh start historyserver

7、测试Hadoop环境

在浏览器中输入http://localhost:50070，查看HDFS Web界面。

在终端中执行以下命令，查看YARN资源管理器界面：

yarn.yysh

通过以上步骤，您已经成功搭建了一个Hadoop伪分布式环境，您可以开始使用Hadoop进行大数据处理和分析，在实际应用中，您可以根据需求调整Hadoop配置，以适应不同的业务场景。