hadoop伪分布式安装详细步骤，Hadoop伪分布式集群搭建详解，从安装到配置，轻松入门大数据处理

本文目录导读：

1. 环境准备
2. Hadoop安装与配置

随着大数据时代的到来，Hadoop作为一款开源的大数据处理框架，已经成为广大开发者学习与使用的热门工具，本文将详细讲解Hadoop伪分布式集群的搭建过程，包括环境准备、安装与配置等步骤，帮助读者轻松入门大数据处理。

环境准备

1、操作系统：本文以CentOS 7.6为例，其他Linux发行版类似。

2、Java环境：Hadoop需要Java环境支持，建议安装Java 8。

3、网络环境：确保网络畅通，方便后续集群节点间的通信。

图片来源于网络，如有侵权联系删除

Hadoop安装与配置

1、下载Hadoop：访问Hadoop官网（https://hadoop.apache.org/）下载适合当前操作系统的Hadoop版本。

2、解压Hadoop：将下载的Hadoop压缩包解压到指定目录，home/hadoop/hadoop-3.2.1。

3、配置环境变量：

（1）打开终端，编辑.bashrc文件：vi ~/.bashrc

（2）在文件末尾添加以下内容：

export HADOOP_HOME=/home/hadoop/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

（3）保存并退出编辑器，使配置生效：source ~/.bashrc

4、配置Hadoop：

图片来源于网络，如有侵权联系删除

（1）编辑hadoop配置文件：

cd $HADOOP_HOME/etc/hadoop

（2）编辑core-site.xml文件：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop-3.2.1/tmp</value>
    </property>
</configuration>

（3）编辑hdfs-site.xml文件：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoop/hadoop-3.2.1/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/home/hadoop/hadoop-3.2.1/hdfs/datanode</value>
    </property>
</configuration>

（4）编辑mapred-site.xml文件：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

5、格式化NameNode：

hdfs namenode -format

6、启动Hadoop服务：

（1）启动HDFS：

图片来源于网络，如有侵权联系删除

start-dfs.sh

（2）启动YARN：

start-yarn.sh

（3）启动HistoryServer：

mr-jobhistory-daemon.sh start historyserver

7、检查服务状态：

（1）查看HDFS状态：

jps

（2）查看YARN状态：

yarn node -list

通过以上步骤，我们已经成功搭建了一个Hadoop伪分布式集群，读者可以根据实际需求，进一步学习Hadoop的高级功能，如MapReduce编程、Hive、HBase等，以便更好地掌握大数据处理技术。

标签： #配置开发环境 - hadoop安装与伪分布式集群搭建