海量教育资源中小文件的存储研究

摘要：

Hadoop作为成熟的分布式云平台,能提供可靠高效的存储服务,常用来解决大文件的存储问题,但在处理海量小文件时效率显著降低.提出了基于Hadoop的海量教育资源中小文件的存储优化方案,即利用教育资源小文件间的关联关系,将小文件合并成大文件以减少文件数量,并用索引机制访问小文件及元数据缓存和关联小文件预取机制来提高文件的读取效率.实验证明,以上方法提高了Hadoop文件系统对小文件的存取效率.

关键词：Hadoop、海量小文件、小文件合并、预取缓存

所属期刊栏目：42

分类号：TP302.1(计算技术、计算机技术)

资助基金：教育部——中国移动科研基金项目:海量教育资源去存储与获取关键技术研究与实现MCM20121041

在线出版日期：2015-11-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：76-80