本文目录导读：
在当今的大数据时代，Hadoop作为一款强大的分布式数据处理框架，已经成为了处理海量数据的重要工具，为了更好地学习和实践Hadoop技术，搭建一个Hadoop集群是必不可少的，本文将详细解析如何在虚拟机环境中搭建一个Hadoop集群，以下是具体步骤：
准备工作
1、硬件要求：一台性能较好的虚拟机，至少2GB内存，建议4GB以上，以便集群稳定运行。
图片来源于网络，如有侵权联系删除
2、软件要求：操作系统（如CentOS 7、Ubuntu 18.04等），Java环境（Java 8及以上版本），虚拟机软件（如VMware Workstation、VirtualBox等）。
安装Java环境
1、使用root用户登录虚拟机。
2、下载Java安装包：wget http://download.oracle.com/otn-pub/java/jdk/8u241-b08/jdk-8u241-linux-x64.tar.gz。
3、解压安装包：tar -zxvf jdk-8u241-linux-x64.tar.gz。
4、配置环境变量：编辑/etc/profile文件，添加以下内容：
```
export JAVA_HOME=/usr/local/jdk1.8.0_241
export PATH=$PATH:$JAVA_HOME/bin
```
5、使环境变量生效：source /etc/profile。
6、验证Java安装：java -version，查看版本信息。
安装Hadoop
1、下载Hadoop安装包：wget http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz。
2、解压安装包：tar -zxvf hadoop-3.3.1.tar.gz。
3、将Hadoop安装目录移动到/usr/local/目录下：mv hadoop-3.3.1 /usr/local/hadoop。
4、配置Hadoop环境变量：编辑/etc/profile文件，添加以下内容：
```
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
```
5、使环境变量生效：source /etc/profile。
6、验证Hadoop安装：hadoop version，查看版本信息。
配置Hadoop集群
1、配置hadoop-env.sh：编辑/usr/local/hadoop/etc/hadoop/hadoop-env.sh文件，设置Java环境：
```
export JAVA_HOME=/usr/local/jdk1.8.0_241
```
2、配置core-site.xml：编辑/usr/local/hadoop/etc/hadoop/core-site.xml文件，设置Hadoop的存储目录：
```xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
图片来源于网络，如有侵权联系删除
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/data/tmp</value>
</property>
</configuration>
```
3、配置hdfs-site.xml：编辑/usr/local/hadoop/etc/hadoop/hdfs-site.xml文件，设置HDFS的存储目录：
```xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/data/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop/data/hdfs/datanode</value>
</property>
</configuration>
```
4、配置mapred-site.xml：编辑/usr/local/hadoop/etc/hadoop/mapred-site.xml文件，设置MapReduce运行模式：
```xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
```
图片来源于网络，如有侵权联系删除
5、配置yarn-site.xml：编辑/usr/local/hadoop/etc/hadoop/yarn-site.xml文件，设置YARN资源管理器：
```xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
```
格式化HDFS
1、在master节点上执行以下命令：
```
hdfs namenode -format
```
2、重启Hadoop服务。
启动Hadoop集群
1、启动NameNode：
```
start-dfs.sh
```
2、启动ResourceManager：
```
start-yarn.sh
```
3、验证集群是否启动成功：
- 在浏览器中访问http://master:50070，查看HDFS Web界面。
- 在浏览器中访问http://master:8088，查看YARN Web界面。
至此，Hadoop集群在虚拟机环境中搭建成功，您可以在集群上运行MapReduce程序，进行海量数据的处理和分析，祝您学习愉快！
标签： #虚拟机hadoop集群安装步骤
评论列表