本文目录导读：
在云计算和大数据领域，Hadoop作为一款强大的分布式计算框架，已经成为许多企业进行数据处理的基石，本文将详细解析如何在虚拟机上安装Hadoop 3集群，从环境准备到集群搭建，一步步带您完成这一过程。
环境准备
1、硬件环境：
图片来源于网络，如有侵权联系删除
- 虚拟机至少需要4GB内存，推荐8GB以上；
- 虚拟硬盘至少需要20GB，推荐40GB以上。
2、软件环境：
- 操作系统：推荐使用CentOS 7或Ubuntu 18.04；
- Java环境：Hadoop 3需要Java 8或更高版本，因此需要提前安装Java环境。
安装步骤
1、配置网络
（1）进入虚拟机，修改网络配置文件：
- 对于CentOS 7，编辑文件/etc/sysconfig/network-scripts/ifcfg-ens33（根据实际网络接口名称修改）；
- 对于Ubuntu 18.04，编辑文件/etc/netplan/01-netplan.cfg。
（2）修改文件内容，设置静态IP地址、网关、DNS等信息，以CentOS 7为例：
```
TYPE=Ethernet
NM_CONTROLLED=no
ONBOOT=yes
IPADDR=192.168.1.100
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
DNS1=8.8.8.8
DNS2=8.8.4.4
```
（3）保存文件，重启网络服务：
```
systemctl restart network
```
2、安装Java环境
（1）下载Java 8或更高版本的安装包，例如jdk-8u251-linux-x64.tar.gz。
（2）解压安装包到/usr/lib/jvm/目录下：
```
tar -zxvf jdk-8u251-linux-x64.tar.gz -C /usr/lib/jvm/
```
（3）设置环境变量，编辑/etc/profile文件：
```
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$PATH:$JAVA_HOME/bin
```
（4）保存文件，使环境变量生效：
```
source /etc/profile
```
3、下载Hadoop 3安装包
（1）从Apache Hadoop官网下载Hadoop 3安装包，例如hadoop-3.3.4.tar.gz。
（2）解压安装包到/opt/目录下：
```
tar -zxvf hadoop-3.3.4.tar.gz -C /opt/
```
4、配置Hadoop
（1）进入Hadoop解压后的目录，修改etc/hadoop/hadoop-env.sh文件：
```
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
图片来源于网络，如有侵权联系删除
```
（2）修改etc/hadoop/core-site.xml文件：
```
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-3.3.4/data/tmp</value>
</property>
</configuration>
```
（3）修改etc/hadoop/hdfs-site.xml文件：
```
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hadoop-3.3.4/data/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/hadoop-3.3.4/data/hdfs/datanode</value>
</property>
</configuration>
```
（4）修改etc/hadoop/mapred-site.xml文件：
```
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
```
（5）修改etc/hadoop/yarn-site.xml文件：
```
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
图片来源于网络，如有侵权联系删除
<value>master:8032</value>
</property>
<property>
<name>yarn.nodemanager.address</name>
<value>master:12345</value>
</property>
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/opt/hadoop-3.3.4/data/yarn/local</value>
</property>
<property>
<name>yarn.nodemanager.log-dirs</name>
<value>/opt/hadoop-3.3.4/data/yarn/log</value>
</property>
</configuration>
```
5、格式化HDFS
（1）进入Hadoop解压后的目录，执行以下命令格式化HDFS：
```
bin/hdfs namenode -format
```
6、启动Hadoop集群
（1）启动NameNode：
```
sbin/hadoop-daemon.sh start namenode
```
（2）启动DataNode：
```
sbin/hadoop-daemon.sh start datanode
```
（3）启动SecondaryNameNode：
```
sbin/hadoop-daemon.sh start secondarynamenode
```
（4）启动ResourceManager：
```
sbin/yarn-daemon.sh start resourcemanager
```
（5）启动NodeManager：
```
sbin/yarn-daemon.sh start nodemanager
```
（6）启动HistoryServer：
```
sbin/yarn-daemon.sh start historyserver
```
至此，Hadoop 3集群在虚拟机上已成功安装，您可以通过浏览器访问http://master:50070查看HDFS Web界面，以及http://master:8088查看YARN Web界面。
标签： #虚拟机hadoop集群安装步骤
评论列表