完全分布式hadoop集群搭建没有namenode，基于无NameNode的完全分布式Hadoop集群搭建指南

欧气 2024年11月13日 06:35 1 0

本文目录导读：

搭建环境
搭建步骤
验证集群

随着大数据时代的到来，Hadoop作为一款开源的分布式计算框架，在处理海量数据方面展现出强大的能力，本文将为您详细介绍如何搭建一个没有NameNode的完全分布式Hadoop集群，以便在遇到NameNode故障时能够快速恢复，提高集群的可用性。

搭建环境

1、操作系统：Linux（推荐使用CentOS 7）

2、Hadoop版本：Hadoop 3.x（推荐使用最新稳定版）

完全分布式hadoop集群搭建没有namenode，基于无NameNode的完全分布式Hadoop集群搭建指南

图片来源于网络，如有侵权联系删除

3、服务器数量：3台（1台Master节点，2台Slave节点）

4、网络环境：服务器之间通过内网互通

搭建步骤

1、准备工作

（1）在所有服务器上安装Linux操作系统，并配置好网络环境。

（2）配置SSH免密登录，方便后续操作。

2、安装Java环境

（1）在所有服务器上安装Java环境，版本推荐为1.8。

（2）配置环境变量，使Java命令在任意位置可执行。

3、下载Hadoop源码

（1）从Hadoop官网下载对应版本的源码包。

（2）解压源码包到指定目录，如/usr/local/hadoop。

4、配置Hadoop环境

完全分布式hadoop集群搭建没有namenode，基于无NameNode的完全分布式Hadoop集群搭建指南

图片来源于网络，如有侵权联系删除

（1）进入Hadoop源码目录，编辑etc/hadoop/hadoop-env.sh文件，设置Java环境变量。

（2）编辑etc/hadoop/core-site.xml文件，配置Hadoop核心参数：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:8020</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/data</value>
  </property>
</configuration>

（3）编辑etc/hadoop/hdfs-site.xml文件，配置HDFS参数：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>slave1:50090</value>
  </property>
</configuration>

（4）编辑etc/hadoop/yarn-site.xml文件，配置YARN参数：

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

5、配置集群

（1）在所有服务器上创建Hadoop目录，如/usr/local/hadoop/data。

（2）在Master节点上，创建NameNode数据目录和日志目录：

mkdir -p /usr/local/hadoop/data/hdfs/namenode
mkdir -p /usr/local/hadoop/data/hdfs/namenode/current
mkdir -p /usr/local/hadoop/data/hdfs/dfsreplication

（3）在Master节点上，格式化NameNode：