基于分级编码的高可靠存储策略

摘要：

研究了适应当前大数据时代的数据可靠性存储,针对已有存储策略难以同时满足高可靠性存储和高空间利用的需求的问题,提出了一种面向大数据的高可靠低冗余分级编码存储策略.该策略考虑到数据因类型不同、生命周期不同而重要程度有别的特性,可为不同类型数据分别设定容错级别;将不同冗余度的容错编码方式在一套统一存储架构中实现,用一组简单参数设置为数据选择恰当的容错级别编码存储;通过动态降低历史数据的冗余度进一步减少存储空间开销.实验验证了其有效性.对重要小文件采用高容错级别的编码分片存储,能在系统95％存储节点失效的情况下,根据编码后的部分数据分片快速修复所有数据;对普通文件采用适当放松的容错编码级别,在保证数据快速、无损修复的前提下比传统3副本策略节省1.5倍的存储空间.

关键词：大数据、存储、可靠性、容错、低冗余、分级、编码

所属期刊栏目：23

分类号：TP3;TN9

资助基金：863计划2012AA01100,2012AA01A401;国家自然科学基金61070028,61003063;中国科学院先导专项XDA06030200

在线出版日期：2014-01-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：1103-1109