本文目录导读：
图片来源于网络，如有侵权联系删除
概述
Hadoop是一款分布式计算框架，适用于大数据处理，在虚拟机上安装Hadoop，可以方便地进行学习和实验，本文将详细解析在虚拟机上安装Hadoop的步骤，帮助您轻松上手。
安装环境
1、操作系统：Linux（如CentOS、Ubuntu等）
2、虚拟机软件：VMware、VirtualBox等
3、Hadoop版本：根据需求选择，如Hadoop 3.3.4
安装步骤
1、准备工作
（1）在虚拟机中创建一个新的Linux操作系统，建议选择64位版本。
（2）配置虚拟机网络，选择桥接模式，以便虚拟机可以访问外部网络。
（3）设置虚拟机的内存和CPU资源，根据实际需求进行配置。
2、安装Java
（1）下载Java安装包，如openjdk-8u261-linux-x64.tar.gz。
（2）将Java安装包上传到虚拟机。
（3）解压Java安装包，如：tar -zxvf openjdk-8u261-linux-x64.tar.gz。
（4）将Java安装目录添加到环境变量中，编辑~/.bashrc文件：
export JAVA_HOME=/usr/local/java
export PATH=$PATH:$JAVA_HOME/bin
（5）使环境变量生效：source ~/.bashrc。
（6）验证Java安装：java -version。
3、下载Hadoop
（1）下载Hadoop安装包，如hadoop-3.3.4.tar.gz。
（2）将Hadoop安装包上传到虚拟机。
（3）解压Hadoop安装包，如：tar -zxvf hadoop-3.3.4.tar.gz。
4、配置Hadoop
（1）进入Hadoop安装目录，如cd /usr/local/hadoop-3.3.4。
（2）修改hadoop-env.sh文件，设置Java环境变量：
export JAVA_HOME=/usr/local/java
（3）修改core-site.xml文件，设置Hadoop运行时的文件系统：
<configuration>
<property>
图片来源于网络，如有侵权联系删除
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
（4）修改hdfs-site.xml文件，设置HDFS的存储目录：
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop-3.3.4/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop-3.3.4/hdfs/datanode</value>
</property>
</configuration>
（5）修改mapred-site.xml文件，设置MapReduce运行时的文件系统：
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
（6）修改yarn-site.xml文件，设置YARN的运行时参数：
<configuration>
图片来源于网络，如有侵权联系删除
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
5、格式化HDFS
（1）进入Hadoop安装目录，如cd /usr/local/hadoop-3.3.4。
（2）执行格式化命令：hdfs namenode -format。
6、启动Hadoop服务
（1）启动NameNode服务：
sbin/hadoop-daemon.sh start namenode
（2）启动DataNode服务：
sbin/hadoop-daemon.sh start datanode
（3）启动SecondaryNameNode服务：
sbin/hadoop-daemon.sh start secondarynamenode
（4）启动YARN服务：
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
7、验证Hadoop安装
（1）在浏览器中访问Hadoop Web UI：
http://虚拟机IP:50070
http://虚拟机IP:8088
（2）在终端中执行hadoop fs -ls命令，查看HDFS文件系统：
hadoop fs -ls
本文详细介绍了在虚拟机上安装Hadoop的步骤，包括准备工作、安装Java、下载Hadoop、配置Hadoop、格式化HDFS、启动Hadoop服务以及验证Hadoop安装，通过这些步骤，您可以轻松地在虚拟机上搭建Hadoop环境，为后续的大数据处理学习打下基础。
标签： #虚拟机安装hadoop步骤
评论列表