基于存储环境感知的重复数据删除算法优化

摘要：

在备份和归档等存储应用中产生的重复数据在存储空间和能耗上造成的浪费问题日益突出,如何删除重复数据已成为当前存储领域中的研究热点.CDC(Content-Defined Chunking)是一种适用于多种应用环境的重复数据删除算法,但缺乏针对具体应用环境的优化.通过对存储环境进行感知和分析,为CDC算法提出了两个参数选择约束条件:(1)根据存储设备中的数据块存储方式来选择平均分块大小等参数;(2)根据数据的分块边界分布特性来选择分块边界特征值参数.实验表明,与无约束条件的CDC算法相比,这两个约束条件在4个实验数据集上平均可提高16.3%的数据缩减比.

关键词：重复数据删除、存储环境感知、CDC、文件系统、分块边界

所属期刊栏目：38

分类号：TP334.5(计算技术、计算机技术)

资助基金：部委基金"基于服务定制的智能存储系统研究",国家自然科学基金项目606730001;国家"973"重点基础研究发展规划基金项目2004CB318203

在线出版日期：2011-04-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：63-67