分布式存储中纠删码与副本冗余策略的深度剖析
图片来源于网络，如有侵权联系删除
一、引言
在分布式存储系统中，数据的可靠性是至关重要的，为了确保数据在面临磁盘故障、网络故障等各种异常情况时不丢失且能正常提供服务，冗余策略被广泛应用，纠删码（Erasure Coding）和副本（Replication）是两种常见的冗余策略，它们在实现方式、冗余效率、资源占用、数据恢复等多个方面存在着显著的区别。
二、实现方式
1、副本
- 副本冗余策略是将原始数据完整地复制多份存储在不同的存储节点上，在一个副本数为3的分布式存储系统中，一份原始数据会被分别存储在三个不同的节点，这种方式非常直观和简单，系统只需对原始数据进行拷贝操作，并将拷贝后的副本分发到指定的存储位置。
- 副本的创建和管理相对容易理解，在写入数据时，存储系统会将数据同时写入到多个节点，以一个三副本的Ceph分布式存储系统为例，当客户端写入数据时，Ceph会通过其底层的分布式文件系统机制，将数据并行地发送到三个不同的存储节点（如OSD - Object Storage Device），并且在这些节点上进行持久化存储。
2、纠删码
- 纠删码则是基于编码理论的一种冗余技术，它将原始数据分割成多个数据块，然后通过特定的编码算法计算出一些额外的校验块，将数据分成k个数据块，然后通过纠删码算法生成m个校验块，这k + m个块共同组成了冗余编码后的数据。
- 以里德 - 所罗门（Reed - Solomon）纠删码为例，它在有限域上进行运算，假设原始数据为一系列的字节流，首先将其按照一定的块大小进行划分，然后根据纠删码的生成矩阵，对这些数据块进行线性组合运算得到校验块，这些校验块和原始数据块一起存储在分布式存储系统的不同节点上。
三、冗余效率
1、副本
- 副本冗余的冗余效率相对较低，如果要保证数据的高可靠性，需要创建较多的副本，为了容忍两个节点故障，需要创建三个副本（n = 3，假设最多容忍f = 2个故障节点），随着副本数量的增加，存储开销呈线性增长。
- 在大规模分布式存储系统中，如果采用副本策略来保证较高的容错能力，所占用的额外存储空间是非常可观的，对于一个100TB的原始数据，如果采用三副本策略，就需要300TB的总存储空间，其中200TB是冗余数据。
图片来源于网络，如有侵权联系删除
2、纠删码
- 纠删码的冗余效率较高，使用k = 4，m = 2的纠删码方案（即原始数据分成4个数据块，生成2个校验块），总共需要存储6个块就可以容忍最多2个块的丢失，相比于副本策略，在相同容错能力下，纠删码占用的存储空间更少。
- 对于大规模数据存储，纠删码可以在保证数据可靠性的前提下，大大减少冗余数据的存储空间，对于同样100TB的原始数据，采用合适的纠删码方案，可能只需要120 - 130TB左右的总存储空间，大大提高了存储空间的利用率。
四、资源占用
1、副本
- 在网络资源占用方面，副本在写入数据时需要将相同的数据发送到多个节点，在一个三副本的系统中，写入数据时网络带宽的占用是写入单份数据的三倍，这在网络带宽有限的情况下，可能会影响写入性能。
- 在存储资源方面，除了上述提到的存储开销大之外，副本策略还需要更多的I/O资源来管理这些副本，在进行数据更新时，需要同时更新多个副本，这会增加磁盘I/O的负担。
2、纠删码
- 纠删码在编码和解码过程中需要一定的计算资源，在写入数据时，需要进行数据块的分割和校验块的计算，这需要CPU进行大量的运算，特别是在大规模数据写入时，对CPU的性能要求较高。
- 在网络资源方面，纠删码在数据恢复过程中可能需要从多个节点获取数据块来重建丢失的数据，这可能会导致网络流量的不均衡，但是在正常写入时，相比于副本策略，它不需要将相同数据多次发送，相对节省网络资源。
五、数据恢复
1、副本
- 副本的数据恢复非常简单，当一个存储节点上的数据副本丢失时，系统可以直接从其他存储有副本的节点上复制数据到故障节点进行恢复，在一个三副本系统中，如果一个节点的磁盘故障导致数据丢失，系统可以从另外两个节点中的任意一个复制数据到新的磁盘上。
图片来源于网络，如有侵权联系删除
- 副本的数据恢复速度相对较快，因为只需要进行简单的拷贝操作，不需要复杂的计算过程。
2、纠删码
- 纠删码的数据恢复则相对复杂，当数据块丢失时，需要根据存储的校验块和其他未丢失的数据块，通过特定的解码算法来恢复丢失的数据，使用里德 - 所罗门纠删码时，需要根据生成矩阵的逆矩阵等数学运算来重建数据块。
- 数据恢复的速度取决于多个因素，如计算资源的可用性、丢失数据块的数量等，在一些情况下，如果计算资源不足或者丢失数据块较多，数据恢复可能会比较耗时。
六、适用场景
1、副本
- 副本策略适用于对数据写入性能要求较高，对存储成本不太敏感，并且对数据恢复速度要求极快的场景，一些对实时性要求极高的数据库系统，如金融交易系统中的数据库，在这些系统中，简单快速的数据写入和快速的数据恢复是至关重要的，而存储成本往往不是首要考虑的因素。
- 对于一些小型的分布式存储系统，副本策略也比较容易实现和管理，在一个企业内部的小型文件存储系统中，数据量相对较小，采用副本策略可以方便地保证数据的可靠性。
2、纠删码
- 纠删码适用于对存储成本比较敏感，对数据可靠性有一定要求，并且可以容忍一定数据恢复时间的场景，在大规模的云存储系统中，如阿里云的对象存储服务，纠删码被广泛应用，因为云存储系统中数据量巨大，存储成本是一个重要的考虑因素，而在大规模数据存储下，偶尔的稍长一点的数据恢复时间是可以接受的。
七、结论
纠删码和副本作为分布式存储中的两种冗余策略，各有其优缺点，副本策略简单直观、数据恢复快，但冗余效率低、资源占用大；纠删码冗余效率高、节省存储资源，但数据恢复复杂且对计算资源有一定要求，在实际的分布式存储系统设计中，需要根据具体的应用场景，如对成本、性能、可靠性等方面的不同要求，来选择合适的冗余策略或者将两者结合使用，以达到最佳的数据存储和管理效果。
评论列表