Ceph系统中海量气象小文件存取性能优化方法

摘要：

为解决Ceph在处理海量气象小文件时,由于集群数据双倍写入会导致存储性能下降问题,提出了一种Ceph系统中海量气象小文件存取性能优化方法.该方法通过分析文件历史访问日志得到气象小文件间的关联概率,然后依据关联概率设计出文件合并算法将相关联的小文件合并后再存储到Ceph集群;访问文件时,根据文件块的利用率和相关率来衡量合并后小文件间的相关性,并根据其相关性进行文件预读取,减少用户与集群的交互以提高小文件的访问效率.实验表明,该方法与现有方法相比,能明显提高Ceph系统中海量气象小文件的存储效率和访问效率.

关键词：Ceph分布式文件系统、小文件、相关性合并、预读取

所属期刊栏目：39

分类号：TP302(计算技术、计算机技术)

资助基金：国家自然科学基金61662018,61661015;中国博士后科学基金2016M602922XB;广西云计算与大数据协同创新中心项目YDQ17001

在线出版日期：2019-07-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：61-66