标题：《Hadoop 虚拟机搭建全攻略》
一、引言
随着大数据时代的到来，Hadoop 作为一个开源的分布式计算平台，已经成为了处理大规模数据的首选工具，本文将详细介绍如何在虚拟机中搭建 Hadoop 环境，帮助读者快速上手 Hadoop 开发和应用。
二、准备工作
1、下载虚拟机软件（如 VMware Workstation、VirtualBox 等）并安装。
2、下载 Hadoop 安装包并解压到本地。
3、准备一台物理机或其他虚拟机作为宿主机器。
三、创建虚拟机
1、打开虚拟机软件，点击“新建虚拟机”。
2、选择“典型”安装类型，点击“下一步”。
3、选择“稍后安装操作系统”，点击“下一步”。
4、选择操作系统类型（如 Linux），版本（如 CentOS 7），点击“下一步”。
5、设置虚拟机名称和存储位置，点击“下一步”。
6、选择虚拟机的内存大小和处理器数量，点击“下一步”。
7、选择网络类型（如 NAT），点击“下一步”。
8、点击“完成”，完成虚拟机的创建。
四、安装操作系统
1、启动虚拟机，进入安装向导。
2、选择语言、键盘布局等，点击“下一步”。
3、点击“安装 CentOS 7”。
4、选择“安装类型”（如自定义），点击“下一步”。
5、选择分区方式（如手动分区），点击“下一步”。
6、设置根分区大小、交换分区大小等，点击“下一步”。
7、点击“完成”，开始安装操作系统。
8、安装完成后，重启虚拟机。
五、配置虚拟机网络
1、登录虚拟机，打开终端。
2、输入以下命令查看网络配置：
ip addr
3、找到 eth0 网络接口的 IP 地址，记录下来。
4、打开虚拟机的网络设置，将 NAT 模式改为桥接模式，并将 IP 地址设置为与宿主机器同一网段。
5、保存设置并重启虚拟机。
六、安装 Java
1、下载 Java 安装包并解压到本地。
2、进入解压后的目录，执行以下命令安装 Java：
./bin/install.sh
3、安装完成后，设置环境变量，打开终端，输入以下命令编辑 /etc/profile 文件：
vi /etc/profile
在文件末尾添加以下内容：
export JAVA_HOME=/usr/java/jdk1.8.0_201 export PATH=$JAVA_HOME/bin:$PATH
保存并退出文件。
4、使环境变量生效，输入以下命令：
source /etc/profile
七、安装 Hadoop
1、将 Hadoop 安装包解压到本地。
2、进入 Hadoop 安装目录，编辑 etc/hadoop/core-site.xml 文件，设置以下内容：
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
</configuration>master 为虚拟机的主机名。
3、编辑 etc/hadoop/hdfs-site.xml 文件，设置以下内容：
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>4、编辑 etc/hadoop/mapred-site.xml 文件，设置以下内容：
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>5、编辑 etc/hadoop/yarn-site.xml 文件，设置以下内容：
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>6、将 etc/hadoop 目录下的所有文件复制到 slaves 节点的相同目录下。
7、格式化 Hadoop 文件系统，进入 Hadoop 安装目录，执行以下命令：
bin/hdfs namenode -format
8、启动 Hadoop 集群，进入 Hadoop 安装目录，执行以下命令：
sbin/start-dfs.sh sbin/start-yarn.sh
9、查看 Hadoop 集群状态，进入 Hadoop 安装目录，执行以下命令：
jps
如果输出结果中包含 NameNode、DataNode、ResourceManager、NodeManager 等进程，说明 Hadoop 集群已经启动成功。
八、验证 Hadoop 安装
1、打开浏览器，输入以下地址访问 Hadoop 管理界面：
http://master:50070
如果能够正常访问 Hadoop 管理界面，说明 Hadoop 安装成功。
2、执行以下命令创建一个 Hadoop 示例程序：
hdfs dfs -mkdir /user/hadoop hdfs dfs -put etc/hadoop/*.xml /user/hadoop
3、执行以下命令运行 Hadoop 示例程序：
yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /useruser://master:9000/user/hadoop /user/hadoop/output
4、查看 Hadoop 示例程序的输出结果，进入 Hadoop 安装目录，执行以下命令：
hdfs dfs -cat /user/hadoop/output/part-r-00000
如果能够正常输出 Hadoop 示例程序的结果，说明 Hadoop 安装成功。
九、总结
本文详细介绍了如何在虚拟机中搭建 Hadoop 环境，包括准备工作、创建虚拟机、安装操作系统、配置虚拟机网络、安装 Java、安装 Hadoop 等步骤，通过本文的介绍，读者可以快速上手 Hadoop 开发和应用，需要注意的是，在实际搭建 Hadoop 环境时，可能会遇到各种问题，需要根据具体情况进行解决。
评论列表