本文目录导读：
图片来源于网络，如有侵权联系删除
在当今的大数据时代，Hadoop作为一款开源的分布式计算框架，已经成为处理海量数据的重要工具，而在虚拟机中安装Hadoop，不仅可以节省物理硬件资源，还能方便地进行环境搭建和测试，以下将详细解析在虚拟机中安装Hadoop的完整步骤，旨在为您的Hadoop学习之旅提供清晰的指引。
准备工作
1、准备一台虚拟机：选择合适的虚拟化软件，如VMware、VirtualBox等，创建一个虚拟机。
2、配置虚拟机：根据需要设置虚拟机的CPU、内存、硬盘等资源，确保其性能满足Hadoop的运行需求。
3、安装操作系统：在虚拟机中安装Linux操作系统，推荐使用CentOS 7或Ubuntu 18.04等。
4、更新系统：在虚拟机中执行以下命令，更新系统源和安装常用软件包。
```
sudo yum update
sudo yum install -y yum-utils
sudo yum-config-manager --add-repo https://mirrors.tuna.tsinghua.edu.cn/epel/7/x86_64/
sudo yum install -y ntpdate
```
安装Java
Hadoop依赖于Java环境，因此需要安装Java。
1、下载Java：访问Oracle官网或OpenJDK官网下载Java安装包。
2、解压安装包：将下载的Java安装包解压到指定目录，如/usr/local/。
3、设置环境变量：编辑/etc/profile文件，添加以下内容。
```
export JAVA_HOME=/usr/local/jdk1.8.0_251
export PATH=$PATH:$JAVA_HOME/bin
```
4、使环境变量生效：执行以下命令。
图片来源于网络，如有侵权联系删除
```
source /etc/profile
```
5、验证Java安装：执行以下命令，检查Java版本。
```
java -version
```
安装Hadoop
1、下载Hadoop：访问Apache Hadoop官网下载Hadoop安装包。
2、解压安装包：将下载的Hadoop安装包解压到指定目录，如/usr/local/。
3、设置环境变量：编辑/etc/profile文件，添加以下内容。
```
export HADOOP_HOME=/usr/local/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
```
4、使环境变量生效：执行以下命令。
```
source /etc/profile
```
5、配置Hadoop：进入Hadoop配置目录，执行以下命令。
```
图片来源于网络，如有侵权联系删除
cd $HADOOP_HOME/etc/hadoop
```
编辑以下配置文件：
hadoop-env.sh：设置Java环境变量。
core-site.xml：配置Hadoop运行时所需的参数，如Hadoop运行的主机名、存储目录等。
hdfs-site.xml：配置HDFS的参数，如文件存储路径、副本因子等。
mapred-site.xml：配置MapReduce的参数，如MapReduce运行的主机名、文件存储路径等。
yarn-site.xml：配置YARN的参数，如资源管理器运行的主机名、资源分配策略等。
启动Hadoop
1、格式化HDFS：在Hadoop配置目录中，执行以下命令格式化HDFS。
```
bin/hdfs namenode -format
```
2、启动Hadoop服务：执行以下命令启动Hadoop服务。
```
sbin/start-dfs.sh
sbin/start-yarn.sh
```
3、验证Hadoop运行：在浏览器中访问http://虚拟机IP:9870和http://虚拟机IP:8088，查看HDFS和YARN的Web界面。
至此，您已成功在虚拟机中安装并启动Hadoop，您可以开始学习Hadoop的各种应用，如HDFS、MapReduce、YARN等，祝您学习愉快！
标签： #虚拟机安装hadoop安装详细步骤
评论列表