本文目录导读:
图片来源于网络,如有侵权联系删除
环境准备
1、虚拟机软件:VMware Workstation、VirtualBox等均可,这里以VMware Workstation为例。
2、操作系统:选择Linux系统,推荐CentOS 7。
3、Java环境:Hadoop是基于Java的,需要安装Java环境。
虚拟机配置
1、创建虚拟机:打开VMware Workstation,点击“创建新的虚拟机”,选择“自定义(高级)”,点击“下一步”。
2、安装操作系统:选择“安装操作系统”,点击“下一步”,选择“稍后安装操作系统”,点击“下一步”。
3、选择操作系统:在“操作系统类型”中选择“Linux”,在“版本”中选择“CentOS 7 x64”,点击“下一步”。
4、分配磁盘空间:根据实际情况分配磁盘空间,建议至少50GB。
5、分区设置:选择“将虚拟硬盘拆分成多个文件”,点击“下一步”。
6、完成创建:点击“完成”,开始安装操作系统。
安装Java环境
1、下载Java安装包:在官网下载适合Linux系统的Java安装包。
2、解压安装包:在虚拟机中打开终端,使用以下命令解压安装包:
图片来源于网络,如有侵权联系删除
tar -zxvf jdk-8u251-linux-x64.tar.gz
3、设置环境变量:在终端中执行以下命令,将Java安装路径添加到环境变量中:
vi /etc/profile
在文件末尾添加以下内容:
export JAVA_HOME=/usr/local/java/jdk1.8.0_251 export PATH=$PATH:$JAVA_HOME/bin
4、保存并退出:按Esc
键,输入:wq
,保存并退出文件。
5、刷新环境变量:在终端中执行以下命令,使环境变量生效:
source /etc/profile
安装Hadoop
1、下载Hadoop安装包:在官网下载适合Linux系统的Hadoop安装包。
2、解压安装包:在虚拟机中打开终端,使用以下命令解压安装包:
tar -zxvf hadoop-3.2.1.tar.gz
3、重命名Hadoop安装目录:将解压后的Hadoop安装目录重命名为hadoop
,方便后续操作。
mv hadoop-3.2.1 hadoop
4、设置Hadoop环境变量:在终端中执行以下命令,将Hadoop安装路径添加到环境变量中:
vi /etc/profile
在文件末尾添加以下内容:
export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
5、保存并退出:按Esc
键,输入:wq
,保存并退出文件。
6、刷新环境变量:在终端中执行以下命令,使环境变量生效:
图片来源于网络,如有侵权联系删除
source /etc/profile
配置Hadoop
1、配置hadoop-env.sh
文件:在hadoop
目录下找到etc/hadoop
文件夹,编辑hadoop-env.sh
文件,将JAVA_HOME
变量指向Java安装路径。
2、配置core-site.xml
文件:在etc/hadoop
文件夹下编辑core-site.xml
文件,添加以下内容:
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/tmp</value> </property> </configuration>
3、配置hdfs-site.xml
文件:在etc/hadoop
文件夹下编辑hdfs-site.xml
文件,添加以下内容:
<configuration> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/usr/local/hadoop/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/usr/local/hadoop/hdfs/datanode</value> </property> </configuration>
4、配置mapred-site.xml
文件:在etc/hadoop
文件夹下编辑mapred-site.xml
文件,添加以下内容:
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
5、配置yarn-site.xml
文件:在etc/hadoop
文件夹下编辑yarn-site.xml
文件,添加以下内容:
<configuration> <property> <name>yarn.resourcemanager.host</name> <value>master</value> </property> </configuration>
格式化NameNode
在终端中执行以下命令,格式化NameNode:
hadoop namenode -format
启动Hadoop集群
1、启动HDFS:
start-dfs.sh
2、启动YARN:
start-yarn.sh
3、查看Web界面:在浏览器中输入http://master:50070
,即可查看HDFS Web界面;在浏览器中输入http://master:8088
,即可查看YARN Web界面。
至此,Hadoop集群在3台虚拟机上的搭建已完成。
标签: #hadoop集群3台虚拟机搭建完整教程
评论列表