详解虚拟机环境下Hadoop3集群的安装与配置过程
一、前言
随着大数据时代的到来,Hadoop作为一款分布式存储和处理框架,在众多领域得到了广泛应用,本文将详细讲解如何在虚拟机环境下安装Hadoop3集群,帮助读者轻松上手Hadoop。
二、准备工作
1. 虚拟机环境:安装一台虚拟机,操作系统选择CentOS 7.6(64位)。
图片来源于网络,如有侵权联系删除
2. 软件环境:JDK 1.8、Hadoop 3.2.1。
3. 网络环境:虚拟机与宿主机之间建立桥接网络,确保虚拟机可访问外网。
4. 虚拟机配置:内存至少2GB,硬盘至少20GB。
三、安装步骤
1. 安装JDK
(1)下载JDK 1.8安装包,上传至虚拟机。
(2)解压安装包:tar -zxvf jdk-8u251-linux-x64.tar.gz
(3)配置环境变量:编辑~/.bash_profile文件,添加以下内容:
```
export JAVA_HOME=/usr/local/jdk1.8.0_251
export PATH=$PATH:$JAVA_HOME/bin
```
(4)使配置生效:source ~/.bash_profile
(5)验证JDK安装:java -version
2. 安装Hadoop
(1)下载Hadoop 3.2.1安装包,上传至虚拟机。
(2)解压安装包:tar -zxvf hadoop-3.2.1.tar.gz
(3)配置环境变量:编辑~/.bash_profile文件,添加以下内容:
```
export HADOOP_HOME=/usr/local/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
```
图片来源于网络,如有侵权联系删除
(4)使配置生效:source ~/.bash_profile
(5)配置Hadoop
a. 配置core-site.xml
编辑${HADOOP_HOME}/etc/hadoop/core-site.xml,添加以下内容:
```
```
b. 配置hdfs-site.xml
编辑${HADOOP_HOME}/etc/hadoop/hdfs-site.xml,添加以下内容:
```
```
c. 配置mapred-site.xml
编辑${HADOOP_HOME}/etc/hadoop/mapred-site.xml,添加以下内容:
```
```
d. 配置yarn-site.xml
编辑${HADOOP_HOME}/etc/hadoop/yarn-site.xml,添加以下内容:
```
```
3. 格式化NameNode
在master节点上执行以下命令:
hadoop namenode -format
4. 启动Hadoop集群
图片来源于网络,如有侵权联系删除
(1)在master节点上启动NameNode:
start-dfs.sh
(2)在master节点上启动ResourceManager:
start-yarn.sh
(3)在所有节点上启动NodeManager:
start-dfs.sh
(4)在所有节点上启动DataNode:
start-yarn.sh
四、验证安装
1. 查看NameNode状态:
jps
2. 查看ResourceManager状态:
jps
3. 测试Hadoop集群:
hadoop fs -mkdir /test
hadoop fs -put /usr/local/hadoop-3.2.1/README.txt /test
hadoop fs -ls /test
五、总结
本文详细介绍了在虚拟机环境下安装Hadoop3集群的步骤,通过本文的讲解,读者可以轻松搭建起一个Hadoop3集群,为后续的大数据处理工作奠定基础。
标签: #虚拟机hadoop集群安装步骤
评论列表