本文目录导读：
《深入剖析HDFS存数据的流程：从客户端请求到数据存储的全链路解析》
HDFS简介
HDFS（Hadoop Distributed File System）是一个分布式文件系统，旨在在普通硬件上运行，具有高容错性，并能提供高吞吐量的数据访问，它将大文件切分成多个数据块（block），并将这些数据块分布存储在集群中的多个节点上，以实现大规模数据的存储和管理。
HDFS存数据的流程
（一）客户端发起请求
图片来源于网络，如有侵权联系删除
1、创建文件请求
- 当客户端想要在HDFS中存储一个文件时，首先会向NameNode发送创建文件的请求，这个请求包含了文件的路径等信息，客户端想要创建一个名为“/user/data/file.txt”的文件，它会将这个文件路径发送给NameNode。
- NameNode在收到请求后，会进行一系列的检查，包括检查文件路径是否合法、是否有足够的权限等，如果一切正常，NameNode会在其命名空间（namespace）中为这个文件创建一个新的记录，但此时这个文件还没有实际的数据块与之关联。
2、写入数据准备
- 客户端在得到NameNode的创建文件许可后，会开始准备写入数据，它会将本地文件切分成适合HDFS存储的数据包（packet），默认情况下，HDFS的块大小为128MB（这个大小可以根据实际需求配置），客户端会按照这个块大小或者更小的数据包大小来准备数据传输。
（二）数据块分配与管道建立
1、数据块分配
- NameNode根据集群中各个DataNode的存储情况，为即将写入的文件分配数据块，它会选择一些DataNode来存储文件的数据块，并且尽量保证数据的冗余性，对于一个副本数为3的文件，NameNode会选择三个不同的DataNode来存储每个数据块的副本，这些DataNode的选择会考虑到节点的存储容量、网络拓扑等因素，以提高数据的可用性和性能。
图片来源于网络，如有侵权联系删除
2、管道建立
- 客户端在得到数据块分配信息后，会与这些被选中的DataNode建立一个数据传输管道（pipeline），假设数据块将被存储在DataNode1、DataNode2和DataNode3上，客户端首先会与DataNode1建立连接，然后DataNode1会与DataNode2建立连接，DataNode2再与DataNode3建立连接，这样就形成了一个从客户端到DataNode1、DataNode2和DataNode3的管道。
（三）数据传输与存储
1、数据传输
- 客户端开始将数据包发送到管道中的第一个DataNode（即DataNode1），DataNode1在收到数据包后，会进行数据校验（例如校验和检查），以确保数据的完整性，如果数据校验通过，DataNode1会将数据包转发给管道中的下一个DataNode（DataNode2），同时自己也会将数据包写入本地磁盘的临时文件中。
- DataNode2收到数据包后，同样进行数据校验，然后转发给DataNode3，并写入本地磁盘，DataNode3收到数据包后，进行校验并写入本地磁盘，当一个数据包在整个管道中的所有DataNode都成功存储后，客户端会收到一个确认信息，表示这个数据包已经成功存储。
2、数据块存储完成
- 当一个数据块的所有数据包都成功传输并存储在各个DataNode上后，DataNode会向NameNode发送一个数据块存储完成的报告，NameNode在收到所有副本的存储完成报告后，会更新文件在命名空间中的元数据，将这个数据块标记为已成功存储，这个数据块的存储过程才算完成。
图片来源于网络，如有侵权联系删除
（四）文件关闭与元数据更新
1、文件关闭
- 当客户端完成整个文件的写入后，它会向NameNode发送文件关闭的请求，这个请求表示客户端已经完成了对文件的所有数据写入操作。
2、元数据最终更新
- NameNode在收到文件关闭请求后，会对文件的元数据进行最后的更新，它会将文件的状态标记为已关闭，并更新文件的相关属性，如文件大小、数据块列表等，整个文件在HDFS中的存储过程就全部完成了，客户端可以通过HDFS的接口来访问这个文件。
HDFS存数据的流程是一个涉及客户端、NameNode和DataNode协同工作的复杂过程，通过合理的分配数据块、建立可靠的数据传输管道以及严格的元数据管理，实现了大规模数据在分布式环境中的高效存储。
评论列表