搭建和配置hadoop环境，第2关:配置开发环境 - hadoop安装与伪分布式集群搭建，Hadoop环境搭建与伪分布式集群配置指南

本文将指导读者如何搭建和配置Hadoop环境，包括安装Hadoop和建立伪分布式集群。通过详细步骤，帮助读者掌握Hadoop开发环境的配置，为后续数据处理和大数据分析奠定基础。

本文目录导读：

1. 环境准备
2. Hadoop安装与配置
3. 伪分布式集群测试

随着大数据时代的到来，Hadoop作为一款分布式存储和处理框架，已经成为大数据领域不可或缺的技术，本文将详细介绍Hadoop环境的搭建与伪分布式集群的配置过程，旨在帮助读者快速掌握Hadoop的安装与部署。

环境准备

在开始搭建Hadoop环境之前，我们需要准备以下环境：

图片来源于网络，如有侵权联系删除

1、操作系统：推荐使用Linux系统，如CentOS 7.0、Ubuntu 18.04等。

2、Java环境：Hadoop依赖于Java运行，因此需要安装Java环境，推荐使用OpenJDK 1.8版本。

3、网络环境：确保各个节点之间的网络畅通，便于集群通信。

4、数据盘：用于存储Hadoop数据。

Hadoop安装与配置

1、下载Hadoop安装包

从Hadoop官网（https://hadoop.apache.org/releases.html）下载对应版本的Hadoop安装包，本文以Hadoop 3.3.1版本为例。

2、安装Hadoop

将下载的Hadoop安装包上传到Linux服务器，解压到指定目录，如/usr/local/hadoop。

3、配置环境变量

编辑~/.bashrc文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存文件并退出，然后在命令行中执行source ~/.bashrc使环境变量生效。

图片来源于网络，如有侵权联系删除

4、配置Hadoop

进入Hadoop配置目录/usr/local/hadoop/etc/hadoop，进行以下配置：

（1）配置hadoop-env.sh文件，设置Java环境：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.292.b10-0.el7_8.x86_64

（2）配置core-site.xml文件，设置Hadoop运行参数：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
  </property>
</configuration>

（3）配置hdfs-site.xml文件，设置HDFS参数：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop/hdfs/datanode</value>
  </property>
</configuration>

（4）配置yarn-site.xml文件，设置YARN参数：

<configuration>
  <property>
    <name>yarn.resourcemanager.host</name>
    <value>localhost</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

5、格式化HDFS

在命令行中执行以下命令，格式化HDFS：

hdfs namenode -format

6、启动Hadoop服务

启动Hadoop服务，包括NameNode、DataNode和ResourceManager：

start-dfs.sh
start-yarn.sh

伪分布式集群测试

1、创建测试文件

图片来源于网络，如有侵权联系删除

在HDFS中创建一个测试文件：

hdfs dfs -put /etc/passwd /test

2、查看文件内容

在HDFS中查看文件内容：

hdfs dfs -cat /test

3、启动YARN客户端

启动YARN客户端，执行一个简单的WordCount程序：

yarn jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount /test /output

4、查看输出结果

在HDFS中查看输出结果：

hdfs dfs -cat /output/part-r-00000

本文详细介绍了Hadoop环境的搭建与伪分布式集群的配置过程，通过本文的学习，读者可以快速掌握Hadoop的安装与部署，为后续大数据处理打下基础，在实际应用中，根据需求调整Hadoop配置，可以充分发挥其强大的数据处理能力。

标签： #伪分布式集群搭建 #开发环境搭建