PBPP:列存储系统中基于传递块缓冲区的流水线并行处理

摘要：

片上多核处理器(CMP)凭借其低功耗和低成本等优势迅速成为处理器市场的主角,它为多线程的实现提供了硬件支持.列存储技术在分析型应用中具有显著的优势.在列存储系统中,查询优化依然是最重要的问题之一.在列存储系统中,利用多核资源提高查询处理性能具有较大潜力.文中通过对查询执行器生成的物理查询树进行流水多线程设计,结合列存储的特点,建立传递块缓冲区,使主线程和辅助线程分别对传递块缓冲区读写,以提高查询性能.同时还提出使用操作系统中经典的“生产者和消费者”模式来解决线程之间的同步问题.提出的这些方法应用在实验室研发的列存储系统DWMS中,使用数据仓库基准测试集SSB验证了这些方法的有效性.实验结果表明,传递块缓冲区的设计使SQL的查询效率有了近50％的提升.

关键词：多线程、多核、列存储、传递块缓冲区、并行处理

所属期刊栏目：41

分类号：TP311(计算技术、计算机技术)

资助基金：“核高基”国家科技重大专项基金项目2010ZX01042-001-003-004;国家自然科学基金项目61070031,61070032;上海市自然科学基金项目11ZR1401200

在线出版日期：2014-07-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：142-147