基于SSD-SMR混合存储的LS M树键值存储系统的性能优化

摘要：

大数据对存储系统的可扩展性、性能和成本等方面提出了更高的要求.瓦记录(Shingled Magnetic Recor-ding,SMR)硬盘由于存储密度高、价格便宜,正逐步被广泛应用于大数据存储系统.但是,SMR硬盘的随机写性能较差,与快速的基于闪存的固态硬盘(Solid State Drive,SSD)一起构成混合存储时可以显著提升性能.同时,基于写优化的日志结构合并(Log-Structured Merge,LSM)树的键值存储已被广泛应用于许多NoSQL系统,如BigTable,Cas-sandra和HBase等.因此,如何基于新型的SSD-SM R混合存储构建出高性能的LSM树键值存储系统是一个具有很大研究价值的问题.首先建立基于SSD-SM R混合存储的LSM树键值系统的性能模型,然后针对SSD和SM R的硬件特征以及LSM树键值存储的软件特点,设计了一套面向SSD-SMR混合存储进行性能优化的LSM树键值存储系统,并基于LevelDB实现了该系统.在仅仅使用0.4％ ～2％ 空间的SSD的情况下,所提方法可以使SSD-SMR混合存储方案比普通磁盘方案的随机写性能提高20％,随机读性能提高5倍.

关键词：大数据、日志合并树、瓦记录磁盘、闪存、混合存储

所属期刊栏目：45

分类号：TP333(计算技术、计算机技术)

资助基金：国家重点研发计划"云计算和大数据"重点专项项目2018YFB1004400 ,国家自然科学基金重点项目61732014 ,北京市自然科学基金面上项目4172031 ,中国人民大学预研委托项目团队基金16XNLQ02 ,计算机体系结构国家重点实验室开放课题CARCH201702

在线出版日期：2018-08-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：61-65,89