hadoop虚拟机安装教程，从零开始，详细解析Hadoop在虚拟机环境下的安装与配置教程

本文目录导读：

1. 环境准备
2. 虚拟机配置
3. 安装操作系统
4. 配置网络
5. 安装Hadoop
6. Hadoop配置
7. 格式化HDFS
8. 测试Hadoop集群

随着大数据时代的到来，Hadoop作为一款分布式存储和处理框架，已经成为众多企业构建大数据平台的首选，而虚拟机技术则为Hadoop的部署提供了极大的便利，本文将为您详细解析如何在虚拟机环境中搭建Hadoop集群，让您轻松入门Hadoop生态。

环境准备

1、操作系统：选择CentOS 7.x版本作为虚拟机操作系统。

图片来源于网络，如有侵权联系删除

2、虚拟机软件：使用VMware Workstation或VirtualBox等虚拟机软件。

3、Hadoop版本：本文以Hadoop 3.2.1版本为例。

虚拟机配置

1、创建虚拟机：打开虚拟机软件，创建一个CentOS 7.x版本的虚拟机。

2、配置虚拟机：

- 内存：建议分配4GB以上，根据实际情况调整。

- CPU：根据物理服务器的性能，至少分配2核。

- 硬盘：选择合适的硬盘大小，至少100GB。

- 网络配置：选择桥接模式，确保虚拟机与物理主机在同一网络环境下。

安装操作系统

1、下载CentOS 7.x镜像文件。

2、将镜像文件导入虚拟机软件，启动虚拟机。

3、按照提示完成操作系统安装。

配置网络

1、打开终端，执行以下命令查看当前网络接口：

图片来源于网络，如有侵权联系删除

   ip a

2、根据实际情况，配置网络接口的IP地址、子网掩码和网关，以下为示例配置：

   vi /etc/sysconfig/network-scripts/ifcfg-ens33

将以下内容复制到文件中：

   TYPE=Ethernet
   PROXY_METHOD=none
   BROWSER_ONLY=no
   RUNNING=yes
   NM_CONTROLLED=no
   IPV4_FAILURE_FATAL=no
   IPV6INIT=no
   BOOTPROTO=static
   IPADDR=192.168.1.100
   NETMASK=255.255.255.0
   GATEWAY=192.168.1.1

3、重启网络服务：

   systemctl restart network

4、验证网络连接是否正常：

   ping 192.168.1.1

安装Hadoop

1、下载Hadoop 3.2.1版本安装包。

2、将安装包上传到虚拟机中。

3、解压安装包：

   tar -zxvf hadoop-3.2.1.tar.gz -C /opt

4、配置Hadoop环境变量：

   vi /etc/profile

在文件末尾添加以下内容：

   export HADOOP_HOME=/opt/hadoop-3.2.1
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

5、使环境变量生效：

   source /etc/profile

Hadoop配置

1、配置Hadoop核心文件：

   vi $HADOOP_HOME/etc/hadoop/core-site.xml

添加以下内容：

图片来源于网络，如有侵权联系删除

   <configuration>
     <property>
       <name>fs.defaultFS</name>
       <value>hdfs://master:9000</value>
     </property>
   </configuration>

2、配置HDFS文件：

   vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml

添加以下内容：

   <configuration>
     <property>
       <name>dfs.replication</name>
       <value>1</value>
     </property>
   </configuration>

3、配置YARN文件：

   vi $HADOOP_HOME/etc/hadoop/yarn-site.xml

添加以下内容：

   <configuration>
     <property>
       <name>yarn.resourcemanager.hostname</name>
       <value>master</value>
     </property>
   </configuration>

格式化HDFS

1、格式化HDFS文件系统：

   hdfs namenode -format

2、启动Hadoop服务：

   start-dfs.sh
   start-yarn.sh

测试Hadoop集群

1、使用浏览器访问HDFS Web UI：

   http://master:50070

2、使用浏览器访问YARN Web UI：

   http://master:8088

至此，Hadoop在虚拟机环境下的安装与配置已全部完成，您可以根据实际需求，继续扩展Hadoop集群，构建大数据平台，祝您学习愉快！

标签： #hadoop搭建虚拟机