hadoop伪分布式环境搭建步骤，Hadoop伪分布式环境搭建详解，从基础到实战

本文目录导读：

1. 准备工作
2. 安装与配置
3. 启动与测试

随着大数据时代的到来，Hadoop作为一款分布式计算框架，在处理海量数据方面具有显著优势，本文将详细讲解Hadoop伪分布式环境的搭建过程，包括准备工作、安装与配置、启动与测试等步骤，帮助读者快速掌握Hadoop的基本使用。

图片来源于网络，如有侵权联系删除

准备工作

1、硬件要求

（1）操作系统：推荐使用Linux系统，如CentOS、Ubuntu等。

（2）CPU：建议双核以上，确保系统性能。

（3）内存：建议4GB以上，保证系统稳定运行。

（4）硬盘：至少50GB以上，用于存储Hadoop相关文件。

2、软件要求

（1）Java开发包（JDK）：推荐使用1.8版本。

（2）SSH：用于远程登录和文件传输。

（3）Hadoop：本文以Hadoop 3.3.4版本为例。

安装与配置

1、安装Java开发包

（1）下载Java开发包：访问Oracle官网下载对应版本的JDK。

（2）安装Java开发包：根据系统类型，执行以下命令。

对于CentOS系统：

图片来源于网络，如有侵权联系删除

sudo yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel

对于Ubuntu系统：

sudo apt-get update
sudo apt-get install -y openjdk-8-jdk

（3）设置Java环境变量：编辑/etc/profile文件，添加以下内容。

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.292.b10-0.el7_9.x86_64
export PATH=$JAVA_HOME/bin:$PATH

（4）使环境变量生效：执行以下命令。

source /etc/profile

2、安装SSH

（1）对于CentOS系统，使用以下命令安装SSH：

sudo yum install -y openssh-server

（2）对于Ubuntu系统，使用以下命令安装SSH：

sudo apt-get install -y openssh-server

3、下载与解压Hadoop

（1）下载Hadoop：访问Apache Hadoop官网下载对应版本的Hadoop。

（2）解压Hadoop：将下载的Hadoop安装包解压到指定目录，如/usr/local/hadoop。

4、配置Hadoop

（1）修改/usr/local/hadoop/etc/hadoop/hadoop-env.sh文件，设置Java环境变量。

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.292.b10-0.el7_9.x86_64

（2）修改/usr/local/hadoop/etc/hadoop/core-site.xml文件，设置Hadoop运行的主机名。

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>
</configuration>

（3）修改/usr/local/hadoop/etc/hadoop/hdfs-site.xml文件，设置HDFS存储路径。

图片来源于网络，如有侵权联系删除

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop/hdfs/datanode</value>
    </property>
</configuration>

（4）修改/usr/local/hadoop/etc/hadoop/yarn-site.xml文件，设置YARN运行的主机名。

<configuration>
    <property>
        <name>yarn.resourcemanager.host</name>
        <value>localhost</value>
    </property>
</configuration>

启动与测试

1、格式化NameNode

hdfs namenode -format

2、启动HDFS

start-dfs.sh

3、启动YARN

start-yarn.sh

4、查看Hadoop服务状态

jps

5、访问Hadoop Web界面

在浏览器中输入以下地址，查看Hadoop Web界面：

http://localhost:50070

6、测试Hadoop环境

（1）在HDFS中创建目录：

hdfs dfs -mkdir /test

（2）在HDFS中上传文件：

hdfs dfs -put /etc/passwd /test

（3）在HDFS中查看文件：

hdfs dfs -cat /test/passwd

本文详细介绍了Hadoop伪分布式环境的搭建过程，包括准备工作、安装与配置、启动与测试等步骤，通过本文的学习，读者可以快速掌握Hadoop的基本使用，为后续大数据处理打下坚实基础。

标签： #hadoop伪分布式环境搭建