hadoop伪分布式安装详细步骤，Hadoop伪分布式环境搭建，详细步骤与注意事项

本文目录导读：

1. 环境准备
2. 软件安装
3. 配置修改
4. 启动测试

在当今的大数据时代，Hadoop作为一款分布式存储和计算框架，已经成为了处理海量数据的重要工具，本文将详细介绍如何在单台机器上搭建Hadoop伪分布式环境，包括环境准备、软件安装、配置修改以及启动测试等步骤。

图片来源于网络，如有侵权联系删除

环境准备

1、硬件要求

- 处理器：Intel或AMD的双核CPU

- 内存：4GB及以上

- 硬盘：至少50GB空闲空间

- 操作系统：Linux发行版（如Ubuntu、CentOS等）

2、软件要求

- JDK：Java开发工具包，版本要求1.6及以上

- Hadoop：版本要求2.7及以上

软件安装

1、安装JDK

- 下载JDK安装包，jdk-8u251-linux-x64.tar.gz

- 解压安装包：tar -zxvf jdk-8u251-linux-x64.tar.gz

- 配置环境变量：在~/.bashrc文件中添加以下内容

     export JAVA_HOME=/usr/local/jdk1.8.0_251
     export PATH=$PATH:$JAVA_HOME/bin

- 使环境变量生效：source ~/.bashrc

图片来源于网络，如有侵权联系删除

2、安装Hadoop

- 下载Hadoop安装包，hadoop-2.7.4.tar.gz

- 解压安装包：tar -zxvf hadoop-2.7.4.tar.gz

- 将Hadoop解压后的文件夹移动到指定路径：mv hadoop-2.7.4 /usr/local/hadoop

配置修改

1、配置Hadoop环境变量

- 在~/.bashrc文件中添加以下内容

     export HADOOP_HOME=/usr/local/hadoop
     export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

- 使环境变量生效：source ~/.bashrc

2、修改Hadoop配置文件

- 修改hadoop配置文件：cd /usr/local/hadoop/etc/hadoop

- 修改core-site.xml文件，配置Hadoop运行时的文件系统URI和临时文件存储路径

     <configuration>
       <property>
         <name>fs.defaultFS</name>
         <value>hdfs://localhost:9000</value>
       </property>
       <property>
         <name>hadoop.tmp.dir</name>
         <value>/usr/local/hadoop/tmp</value>
       </property>
     </configuration>

- 修改hdfs-site.xml文件，配置HDFS的存储路径

     <configuration>
       <property>
         <name>dfs.replication</name>
         <value>1</value>
       </property>
       <property>
         <name>dfs.namenode.name.dir</name>
         <value>/usr/local/hadoop/hdfs/namenode</value>
       </property>
       <property>
         <name>dfs.datanode.data.dir</name>
         <value>/usr/local/hadoop/hdfs/datanode</value>
       </property>
     </configuration>

- 修改mapred-site.xml文件，配置MapReduce运行时的文件系统URI

     <configuration>
       <property>
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
       </property>
       <property>
         <name>mapreduce.jobtracker.address</name>
         <value>localhost:9001</value>
       </property>
       <property>
         <name>mapreduce.mapreduce.fileoutputcommitter.impl</name>
         <value>org.apache.hadoop.mapred.FileOutputCommitter</value>
       </property>
     </configuration>

- 修改yarn-site.xml文件，配置YARN运行时的资源管理器地址

图片来源于网络，如有侵权联系删除

     <configuration>
       <property>
         <name>yarn.resourcemanager.address</name>
         <value>localhost:8032</value>
       </property>
       <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
       </property>
     </configuration>

启动测试

1、格式化HDFS文件系统

- 执行以下命令：hadoop namenode -format

- 格式化完成后，会生成一系列的元数据文件

2、启动Hadoop服务

- 启动HDFS：start-dfs.sh

- 启动YARN：start-yarn.sh

3、测试Hadoop服务

- 使用hadoop fs -ls命令查看HDFS上的文件

- 使用hadoop jar命令运行WordCount示例程序

通过以上步骤，您已经成功搭建了Hadoop伪分布式环境，您可以根据自己的需求进行更多深入的学习和实践，祝您在Hadoop的世界里探索愉快！

标签： #hadoop伪分布式安装搭建步骤