基于持久性内存的民航重复数据删除方法

摘要：

针对民航数据在存储、容灾备份时存在数据量大、备份时间长的问题,文中改进基于机械硬盘的传统去重方法,提出一种基于持久性内存(PM)的民航重复数据删除方法.该方法根据民航数据长度小而数量多的特点,采用基于位置的内容比较重删法,首先采集文件数据块的指纹并提取指纹样本;然后利用持久性内存,根据指纹样本的ID定位文件位置;再匹配内容,判断是否需要进行二次细化分析;最后进行重删或备份.实验结果表明,与传统重删方法相比,文中优化方法在对民航数据库进行容灾备份时能够去除的重复数据占比约为98.08％,相较传统方法去重时间缩短12～23,所提方法能够提高去重效率,减少存储空间开销,使网络传输的带宽压力最小化.

关键词：民航数据、重复数据删除、持久性内存、文件定位、重复率阈值、容灾备份

所属期刊栏目：45

分类号：TN919-34;TP311

资助基金：国家自然科学基金U1833114

在线出版日期：2022-05-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：131-136