黑狐家游戏

虚拟机搭建hadoop集群的步骤,Hadoop集群在3台虚拟机上的搭建指南

欧气 0 0

本文目录导读:

虚拟机搭建hadoop集群的步骤,Hadoop集群在3台虚拟机上的搭建指南

图片来源于网络,如有侵权联系删除

  1. 环境准备
  2. 虚拟机配置
  3. 安装Java环境
  4. 安装Hadoop
  5. 配置Hadoop
  6. 格式化NameNode
  7. 启动Hadoop集群

环境准备

1、虚拟机软件:VMware Workstation、VirtualBox等均可,这里以VMware Workstation为例。

2、操作系统:选择Linux系统,推荐CentOS 7。

3、Java环境:Hadoop是基于Java的,需要安装Java环境。

虚拟机配置

1、创建虚拟机:打开VMware Workstation,点击“创建新的虚拟机”,选择“自定义(高级)”,点击“下一步”。

2、安装操作系统:选择“安装操作系统”,点击“下一步”,选择“稍后安装操作系统”,点击“下一步”。

3、选择操作系统:在“操作系统类型”中选择“Linux”,在“版本”中选择“CentOS 7 x64”,点击“下一步”。

4、分配磁盘空间:根据实际情况分配磁盘空间,建议至少50GB。

5、分区设置:选择“将虚拟硬盘拆分成多个文件”,点击“下一步”。

6、完成创建:点击“完成”,开始安装操作系统。

安装Java环境

1、下载Java安装包:在官网下载适合Linux系统的Java安装包。

2、解压安装包:在虚拟机中打开终端,使用以下命令解压安装包:

虚拟机搭建hadoop集群的步骤,Hadoop集群在3台虚拟机上的搭建指南

图片来源于网络,如有侵权联系删除

   tar -zxvf jdk-8u251-linux-x64.tar.gz

3、设置环境变量:在终端中执行以下命令,将Java安装路径添加到环境变量中:

   vi /etc/profile

在文件末尾添加以下内容:

   export JAVA_HOME=/usr/local/java/jdk1.8.0_251
   export PATH=$PATH:$JAVA_HOME/bin

4、保存并退出:按Esc键,输入:wq,保存并退出文件。

5、刷新环境变量:在终端中执行以下命令,使环境变量生效:

   source /etc/profile

安装Hadoop

1、下载Hadoop安装包:在官网下载适合Linux系统的Hadoop安装包。

2、解压安装包:在虚拟机中打开终端,使用以下命令解压安装包:

   tar -zxvf hadoop-3.2.1.tar.gz

3、重命名Hadoop安装目录:将解压后的Hadoop安装目录重命名为hadoop,方便后续操作。

   mv hadoop-3.2.1 hadoop

4、设置Hadoop环境变量:在终端中执行以下命令,将Hadoop安装路径添加到环境变量中:

   vi /etc/profile

在文件末尾添加以下内容:

   export HADOOP_HOME=/usr/local/hadoop
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

5、保存并退出:按Esc键,输入:wq,保存并退出文件。

6、刷新环境变量:在终端中执行以下命令,使环境变量生效:

虚拟机搭建hadoop集群的步骤,Hadoop集群在3台虚拟机上的搭建指南

图片来源于网络,如有侵权联系删除

   source /etc/profile

配置Hadoop

1、配置hadoop-env.sh文件:在hadoop目录下找到etc/hadoop文件夹,编辑hadoop-env.sh文件,将JAVA_HOME变量指向Java安装路径。

2、配置core-site.xml文件:在etc/hadoop文件夹下编辑core-site.xml文件,添加以下内容:

   <configuration>
       <property>
           <name>fs.defaultFS</name>
           <value>hdfs://master:9000</value>
       </property>
       <property>
           <name>hadoop.tmp.dir</name>
           <value>/usr/local/hadoop/tmp</value>
       </property>
   </configuration>

3、配置hdfs-site.xml文件:在etc/hadoop文件夹下编辑hdfs-site.xml文件,添加以下内容:

   <configuration>
       <property>
           <name>dfs.replication</name>
           <value>2</value>
       </property>
       <property>
           <name>dfs.namenode.name.dir</name>
           <value>/usr/local/hadoop/hdfs/namenode</value>
       </property>
       <property>
           <name>dfs.datanode.data.dir</name>
           <value>/usr/local/hadoop/hdfs/datanode</value>
       </property>
   </configuration>

4、配置mapred-site.xml文件:在etc/hadoop文件夹下编辑mapred-site.xml文件,添加以下内容:

   <configuration>
       <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
       </property>
   </configuration>

5、配置yarn-site.xml文件:在etc/hadoop文件夹下编辑yarn-site.xml文件,添加以下内容:

   <configuration>
       <property>
           <name>yarn.resourcemanager.host</name>
           <value>master</value>
       </property>
   </configuration>

格式化NameNode

在终端中执行以下命令,格式化NameNode:

hadoop namenode -format

启动Hadoop集群

1、启动HDFS:

   start-dfs.sh

2、启动YARN:

   start-yarn.sh

3、查看Web界面:在浏览器中输入http://master:50070,即可查看HDFS Web界面;在浏览器中输入http://master:8088,即可查看YARN Web界面。

至此,Hadoop集群在3台虚拟机上的搭建已完成。

标签: #hadoop集群3台虚拟机搭建完整教程

黑狐家游戏
  • 评论列表

留言评论