虚拟机中Hadoop集群的详细安装步骤解析，虚拟机安装hadoop3步骤

本文目录导读：

1. 准备工作
2. 安装Java开发包
3. 安装Hadoop
4. 验证Hadoop集群

准备工作

1、确保虚拟机操作系统为Linux，推荐使用CentOS 7。

图片来源于网络，如有侵权联系删除

2、虚拟机配置：CPU 2核，内存4GB，硬盘20GB以上。

3、下载Hadoop安装包：访问Apache Hadoop官网，下载适合当前Linux版本的Hadoop安装包。

4、下载Java开发包：访问Oracle官网，下载适合当前Linux版本的Java开发包。

安装Java开发包

1、解压Java开发包：将下载的Java开发包解压到虚拟机中，/opt/java。

2、设置环境变量：编辑环境变量配置文件，/etc/profile。

   vi /etc/profile

在文件末尾添加以下内容：

   export JAVA_HOME=/opt/java/jdk1.8.0_231
   export PATH=$PATH:$JAVA_HOME/bin

3、使环境变量生效：

   source /etc/profile

4、验证Java安装：

   java -version

输出Java版本信息，表示Java开发包安装成功。

安装Hadoop

1、解压Hadoop安装包：将下载的Hadoop安装包解压到虚拟机中，/opt/hadoop。

2、配置Hadoop环境变量：编辑环境变量配置文件，/etc/profile。

   vi /etc/profile

在文件末尾添加以下内容：

图片来源于网络，如有侵权联系删除

   export HADOOP_HOME=/opt/hadoop
   export PATH=$PATH:$HADOOP_HOME/bin
   export PATH=$PATH:$HADOOP_HOME/sbin

3、使环境变量生效：

   source /etc/profile

4、配置Hadoop配置文件：

- 修改hadoop-env.sh文件，设置Java环境变量：

     vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh

在文件末尾添加以下内容：

     export JAVA_HOME=/opt/java/jdk1.8.0_231

- 修改core-site.xml文件，设置Hadoop存储目录：

     vi $HADOOP_HOME/etc/hadoop/core-site.xml

添加以下内容：

     <configuration>
       <property>
         <name>fs.defaultFS</name>
         <value>hdfs://master:9000</value>
       </property>
       <property>
         <name>hadoop.tmp.dir</name>
         <value>/opt/hadoop/tmp</value>
       </property>
     </configuration>

- 修改hdfs-site.xml文件，设置HDFS存储目录：

     vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml

添加以下内容：

     <configuration>
       <property>
         <name>dfs.replication</name>
         <value>1</value>
       </property>
       <property>
         <name>dfs.namenode.name.dir</name>
         <value>/opt/hadoop/hdfs/namenode</value>
       </property>
       <property>
         <name>dfs.datanode.data.dir</name>
         <value>/opt/hadoop/hdfs/datanode</value>
       </property>
     </configuration>

- 修改mapred-site.xml文件，设置MapReduce相关配置：

     vi $HADOOP_HOME/etc/hadoop/mapred-site.xml

添加以下内容：

     <configuration>
       <property>
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
       </property>
     </configuration>

- 修改yarn-site.xml文件，设置YARN相关配置：

     vi $HADOOP_HOME/etc/hadoop/yarn-site.xml

添加以下内容：

图片来源于网络，如有侵权联系删除

     <configuration>
       <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
       </property>
       <property>
         <name>yarn.resourcemanager.hosts</name>
         <value>master</value>
       </property>
       <property>
         <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
         <value>org.apache.hadoop.mapred.ShuffleHandler</value>
       </property>
     </configuration>

5、格式化NameNode：

   hdfs namenode -format

输出格式化完成信息，表示NameNode初始化成功。

6、启动Hadoop服务：

   start-dfs.sh
   start-yarn.sh

输出启动成功信息，表示Hadoop集群启动成功。

验证Hadoop集群

1、访问Web界面：

打开浏览器，输入以下地址：

   http://master:50070

可以看到HDFS的Web界面，表示HDFS服务正常。

2、运行WordCount示例：

   cd $HADOOP_HOME/share/hadoop/mapreduce/hadoop-2.7.3-examples

运行WordCount示例：

   hadoop jar wordcount.jar wordcount input output

在/opt/hadoop/output目录下会生成WordCount的输出结果，表示MapReduce服务正常。

至此，虚拟机中的Hadoop集群安装完成。

标签： #虚拟机hadoop集群安装步骤