虚拟机环境下一站式Hadoop集群安装与配置指南
随着大数据时代的到来，Hadoop作为分布式存储和计算框架，在处理海量数据方面发挥着重要作用，本文将详细阐述在虚拟机环境中搭建Hadoop集群的步骤，帮助您快速上手Hadoop技术。
一、环境准备
1. 操作系统：CentOS 7.x（64位）
2. 虚拟机软件：VMware Workstation
图片来源于网络，如有侵权联系删除
3. Hadoop版本：Hadoop 3.3.4
二、虚拟机配置
1. 创建虚拟机：打开VMware Workstation，点击“创建新的虚拟机”，选择“自定义（高级）”，然后依次选择操作系统、版本、虚拟机名称和存储位置。
2. 配置CPU和内存：根据实际情况，为虚拟机分配足够的CPU核心和内存，建议CPU核心数为2-4个，内存为4GB-8GB。
3. 配置网络：选择“桥接模式”，确保虚拟机可以访问外部网络。
4. 创建磁盘：为虚拟机创建至少50GB的磁盘空间。
三、安装JDK
1. 下载JDK：访问Oracle官网，下载适用于CentOS 7的JDK版本。
2. 解压JDK：将下载的JDK压缩包解压到指定目录，/usr/local/java/jdk1.8.0_231。
3. 配置环境变量：编辑~/.bashrc文件，添加以下内容：
```
export JAVA_HOME=/usr/local/java/jdk1.8.0_231
export PATH=$PATH:$JAVA_HOME/bin
```
4. 使配置生效：执行以下命令：
```
source ~/.bashrc
```
四、安装Hadoop
1. 下载Hadoop：访问Apache Hadoop官网，下载适用于CentOS 7的Hadoop版本。
2. 解压Hadoop：将下载的Hadoop压缩包解压到指定目录，/usr/local/hadoop/hadoop-3.3.4。
3. 配置环境变量：编辑~/.bashrc文件，添加以下内容：
```
export HADOOP_HOME=/usr/local/hadoop/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin
图片来源于网络，如有侵权联系删除
export PATH=$PATH:$HADOOP_HOME/sbin
```
4. 使配置生效：执行以下命令：
```
source ~/.bashrc
```
五、配置Hadoop
1. 配置文件路径：/usr/local/hadoop/hadoop-3.3.4/etc/hadoop
2. 配置核心文件：
- core-site.xml：
```xml
```
- hdfs-site.xml：
```xml
```
- mapred-site.xml：
```xml
```
- yarn-site.xml：
```xml
```
3. 配置slaves文件：在hadoop目录下创建slaves文件，并写入所有从节点的主机名。
六、格式化HDFS
```
hadoop namenode -format
图片来源于网络，如有侵权联系删除
```
七、启动Hadoop服务
1. 启动NameNode：
```
start-dfs.sh
```
2. 启动YARN：
```
start-yarn.sh
```
3. 启动HistoryServer：
```
mr-jobhistory-daemon.sh start historyserver
```
八、测试Hadoop集群
1. 访问Web界面：在浏览器中输入http://master:50070/，查看HDFS状态。
2. 运行WordCount示例：
```shell
hadoop jar /usr/local/hadoop/hadoop-3.3.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount /input /output
```
在输出目录中查看结果。
通过以上步骤，您已经成功在虚拟机环境中搭建了一个Hadoop集群，在实际应用中，可以根据需求进行优化和扩展，祝您在Hadoop的世界中畅游！
标签： #虚拟机hadoop集群安装步骤
评论列表