分布式存储系统中的预测式纠删码研究

摘要：

纠删码消耗的存储空间较少,获得的数据可靠性较高,因此被分布式存储系统广泛采用.但纠删码在修复数据时较高的修复成本限制了其应用.为了降低纠删码的修复成本,研究人员在分组码和再生码上进行了大量的研究.由于分组码和再生码属于被动容错方式,对于一些容易出现失效的节点,采用主动容错的方式能更好地降低修复成本,维护系统的可靠性,因此,提出了一种主动容错的预测式纠删(Proactive basic-Pyramid,PPyramid)码.PPyramid码利用硬盘故障预测方法来调整basic-Pyramid码中冗余块和数据块之间的关联,将预测出的即将出现故障的硬盘划分到同一小组,使得在修复数据时,所有的读取操作在小组内进行,从而减少读取数据块的个数,节省修复成本.在基于Ceph搭建的分布式存储系统中,在修复多个硬盘故障时,将PPyramid码与其他常用的纠删码进行对比.实验结果表明,相比basic-Pyramid码,PPyramid码能降低6.3％～34.9％的修复成本和减少7.6％～63.6％的修复时间,相比LRC码、pLRC码、SHEC码、DLRC码,能降低8.6％～52％的修复成本和减少10.8％～52.4％的修复时间.同时,PPyramid码构造灵活,具有很强的实际应用价值.

关键词：分布式存储系统、硬盘故障、数据修复、纠删码、故障预测

所属期刊栏目：48

分类号：TP302.8(计算技术、计算机技术)

资助基金：四川省科技计划;国家科技重大专项;四川省科技成果转移转化示范项目

在线出版日期：2021-06-04（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：130-139