华为终结SSD大盘数据重构难题:能雕花、会自愈

时间:2024-08-20 06:01:03分类:硬盘浏览:8

快科技8月19日报道,在正常的分布式存储中,当系统检测到硬盘故障时,系统会采用EC(Erasure Coding)纠删码等冗余验证方式,使用剩余节点上的正常硬盘。对于正常数据,后台跨节点重构整个硬盘的故障数据。

然而,随着SSD容量逐渐增大,需要重构的数据量增加了4到8倍,所花费的时间也增加了相同比例。

在如此漫长的改造周期中,不仅会占用25%的存储带宽,影响业务性能,更致命的是,系统将处于可靠性下降的状态,数据随时会丢失。

华为终结SSD大盘数据重构难题:能雕花、会自愈

华为终结SSD大盘数据重构难题:能雕花、会自愈

今天华为介绍了全闪分布式存储,对SSD的故障域实施局部隔离,尽可能避免原先的大范围的整盘重构。针对盘内DDR的失效,华为创新地采用TRR(Tiny Region Reconstruction,最小范围重构)算法通过与磁盘控制的深入合作,准确识别并报告了故障区域映射的逻辑地址,进而通知存储系统对受影响的本地数据进行阻塞。

这个过程就像在硬盘上“精密镂刻”一样,然后在新的位置精准重构出这一小部分数据。,避免了以往频繁重建整个磁盘的情况,让其余正常数据“不受牵连”,减少了数百倍的重建数据量,整个过程可以几分钟内完成。

华为终结SSD大盘数据重构难题:能雕花、会自愈

针对NAND Flash的失效,华为也采用自研的“盘内RAID算法”,以Die为单位对磁盘上的所有数据建立RAID组冗余校验。我们将故障范围精确地缩小到Die级别,并利用剩余的正常Die通过盘上计算引擎恢复正确的数据。

这项技术的强大之处在于,这个过程可以不断重复,让Die一次又一次失败,继续缩小,甚至在不丢失任何数据的情况下缩小。这个操作完全发生在SSD盘内部,上层存储系统的“大佬”根本不需要干预。他根本不知道,底下竟然如此热闹。

如果出现多个die同时失效,或者整个颗粒失效的极端情况,那么单个SSD盘就无法生存,但系统自然是有准备的。存储系统会立即启动TRR算法对本地数据进行“挖洞”和“补洞”,实现精准屏蔽和有计划的预拷贝重建。

华为终结SSD大盘数据重构难题:能雕花、会自愈