hadoop伪分布式集群安装步骤，Hadoop伪分布式集群搭建步骤详解，从环境准备到集群启动

本文目录导读：

1. 环境准备
2. 安装JDK
3. 安装SSH
4. 安装Python
5. 安装Hadoop
6. 配置Hadoop
7. 启动Hadoop集群

环境准备

1、硬件环境

- 操作系统：Linux系统，推荐使用CentOS 7.x

- CPU：至少2核

- 内存：至少4GB

图片来源于网络，如有侵权联系删除

- 硬盘：至少100GB

- 网络带宽：至少100Mbps

2、软件环境

- JDK：推荐使用JDK 1.8

- SSH：确保SSH免密登录

- Python：推荐使用Python 3.6

安装JDK

1、下载JDK

访问Oracle官网下载JDK 1.8，下载完成后，将JDK安装包上传至服务器。

2、安装JDK

解压JDK安装包，进入解压后的目录，执行以下命令：

tar -zxvf jdk-8u171-linux-x64.tar.gz

3、配置环境变量

编辑/etc/profile文件，添加以下内容：

export JAVA_HOME=/usr/local/jdk1.8.0_171
export PATH=$PATH:$JAVA_HOME/bin

4、使环境变量生效

执行以下命令使环境变量生效：

source /etc/profile

5、验证JDK安装

执行以下命令验证JDK是否安装成功：

java -version

安装SSH

1、安装SSH

执行以下命令安装SSH：

yum install openssh-server

2、启动SSH服务

图片来源于网络，如有侵权联系删除

执行以下命令启动SSH服务：

systemctl start sshd

3、设置SSH服务开机自启

执行以下命令设置SSH服务开机自启：

systemctl enable sshd

安装Python

1、安装Python

执行以下命令安装Python 3.6：

yum install python3.6

2、配置Python环境变量

编辑/etc/profile文件，添加以下内容：

export PATH=$PATH:/usr/local/python3.6/bin

3、使环境变量生效

执行以下命令使环境变量生效：

source /etc/profile

安装Hadoop

1、下载Hadoop

访问Apache Hadoop官网下载Hadoop 3.2.1版本，下载完成后，将Hadoop安装包上传至服务器。

2、安装Hadoop

解压Hadoop安装包，进入解压后的目录，执行以下命令：

tar -zxvf hadoop-3.2.1.tar.gz

3、配置Hadoop环境变量

编辑/etc/profile文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

4、使环境变量生效

执行以下命令使环境变量生效：

source /etc/profile

配置Hadoop

1、配置hadoop-env.sh

编辑$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件，设置JDK路径：

图片来源于网络，如有侵权联系删除

export JAVA_HOME=/usr/local/jdk1.8.0_171

2、配置core-site.xml

编辑$HADOOP_HOME/etc/hadoop/core-site.xml文件，设置Hadoop运行的主机名：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop-3.2.1/tmp</value>
  </property>
</configuration>

3、配置hdfs-site.xml

编辑$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件，设置HDFS的存储路径：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop-3.2.1/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop-3.2.1/hdfs/datanode</value>
  </property>
</configuration>

4、配置slaves

编辑$HADOOP_HOME/etc/hadoop/slaves文件，设置Hadoop运行的主机名：

localhost

5、格式化NameNode

执行以下命令格式化NameNode：

hdfs namenode -format

启动Hadoop集群

1、启动NameNode

执行以下命令启动NameNode：

start-dfs.sh

2、启动Secondary NameNode

执行以下命令启动Secondary NameNode：

start-secondarynamenode.sh

3、启动DataNode

执行以下命令启动DataNode：

start-dfs.sh

4、验证Hadoop集群

在浏览器中访问http://localhost:50070，即可看到Hadoop集群的Web界面。

至此，Hadoop伪分布式集群搭建完成。

标签： #配置开发环境 - hadoop安装与伪分布式集群搭建情况