基于分布式索引和目录聚合的海量小文件存储研究

摘要：

针对海量小文件访问问题的挑战,提出了用基于分布式索引和目录聚合的分布式文件系统——超虚拟文件系统(HVFS)来管理数十亿个小文件的方法,以支持高并发、高吞吐、低延迟的访问.重点讨论了目录索引、目录存储问题,提出了利用可扩展哈希索引来降低延迟、提高扩展性,利用日志结构和列存储的目录聚合来提高吞吐率的方法.测试结果表明,HVFS的存储性能能够线性扩展,82节点上峰值创建速度接近百万每秒,与GIGA+相比有200％以上的提升,小文件I/O性能与OrangeFS相比有60倍以上的提升,充分验证了分布式索引和目录聚合方法的有效性.

关键词：小文件、海量存储、分布式索引、目录聚合、分布式文件系统

所属期刊栏目：22

分类号：TP3;G2

资助基金：863计划2009AA01A129

在线出版日期：2013-04-03（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：1035-1040