大数据下MongoDB数据库档案文档存储去重研究

摘要：

针对大数据下档案存储的现状,通过分析存储档案文档存在重复的原因,提出一种MongoDB存储档案文档的方法,利用MongoDB的GridFs统一处理不同类型和大小的文件,定义3个集合分别存储上传者记录、文件信息记录和分块文件内容,提出存储中通过文件MD5校验码值是否相同来进行去重研究,并实现去重的程序代码,有一定的实际意义.采用的分布式存储数据库增强了档案文档存储系统的可扩展性.实验表明,该方法能有效地去除重复的档案文档,提高查询效率.

关键词：MongoDB、MD5、大数据、档案文档去重、GridFs

所属期刊栏目：38

分类号：TN911-34;TP311

资助基金：国家档案局项目:基于大数据的档案数据去重模型与方法研究2014-X-65;四川省教育厅一般项目:大数据环境下NoSQL数据库应用研究14ZB0313

在线出版日期：2015-09-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：51-55