本文目录导读:
图片来源于网络,如有侵权联系删除
随着大数据时代的到来,Hadoop作为一款分布式存储和计算框架,已经成为处理大规模数据集的利器,本文将详细讲解如何在虚拟机上安装和配置Hadoop环境,让您轻松入门大数据处理。
准备工作
1、硬件环境:
- 2GB及以上内存(推荐4GB)
- 50GB及以上硬盘空间
- 虚拟机软件(如VMware、VirtualBox等)
2、软件环境:
- 操作系统(如CentOS 7、Ubuntu 18.04等)
- JDK 1.8及以上版本
- Hadoop版本(如Hadoop 3.2.1)
安装步骤
1、安装JDK
a. 下载JDK安装包:访问Oracle官网下载JDK安装包,选择与操作系统兼容的版本。
b. 解压安装包:在虚拟机中解压JDK安装包到指定目录,例如/opt/jdk1.8.0_241
。
c. 配置环境变量:
- 编辑/etc/profile
文件,添加以下内容:
```
export JAVA_HOME=/opt/jdk1.8.0_241
export PATH=$PATH:$JAVA_HOME/bin
```
- 保存文件并退出。
d. 使环境变量生效:
- 在终端输入source /etc/profile
。
2、下载Hadoop安装包
a. 访问Apache Hadoop官网下载Hadoop安装包,选择与操作系统兼容的版本。
b. 解压安装包:在虚拟机中解压Hadoop安装包到指定目录,例如/opt/hadoop-3.2.1
。
3、配置Hadoop环境
a. 编辑hadoop-env.sh
文件,配置JDK路径:
```
export JAVA_HOME=/opt/jdk1.8.0_241
```
b. 编辑core-site.xml
文件,配置Hadoop存储路径:
```
<configuration>
<property>
图片来源于网络,如有侵权联系删除
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-3.2.1/tmp</value>
</property>
</configuration>
```
c. 编辑hdfs-site.xml
文件,配置HDFS存储路径:
```
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hadoop-3.2.1/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/hadoop-3.2.1/hdfs/datanode</value>
</property>
</configuration>
```
d. 编辑mapred-site.xml
文件,配置MapReduce运行模式:
```
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
图片来源于网络,如有侵权联系删除
</configuration>
```
e. 编辑yarn-site.xml
文件,配置YARN资源管理器:
```
<configuration>
<property>
<name>yarn.resourcemanager.host</name>
<value>localhost</value>
</property>
</configuration>
```
4、格式化HDFS文件系统
a. 在终端输入以下命令格式化HDFS文件系统:
```
bin/hdfs namenode -format
```
b. 格式化完成后,关闭虚拟机。
5、启动Hadoop服务
a. 启动HDFS服务:
```
bin/start-dfs.sh
```
b. 启动YARN服务:
```
bin/start-yarn.sh
```
6、检查Hadoop服务状态
a. 在浏览器中输入http://localhost:50070
查看HDFS Web界面。
b. 在浏览器中输入http://localhost:8088
查看YARN Web界面。
至此,您已经在虚拟机上成功安装和配置了Hadoop环境,您可以根据自己的需求,编写Hadoop应用程序进行大数据处理,祝您学习愉快!
标签: #虚拟机安装hadoop安装详细步骤
评论列表