大数据分析的分布式MOLAP技术

摘要：

大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战,学界和业界广泛采用分布式文件系统和MapReduce编程模型来应对这一挑战.提出了大数据环境中一种基于Hadoop分布式文件系统(HDFS)和MapReduce编程模型的分布式MOLAP技术,称为DOLAP(distributed OLAP).DOLAP采用一种特殊的多维模型完成维和度量的映射;采用维编码和遍历算法实现维层次上的上卷下钻操作;采用数据分块和线性化算法将维和度量保存在分布式文件系统中;采用数据块选择算法优化OLAP的性能;采用MapReduce编程模型实现OLAP操作.描述了DOLAP在科学数据分析的应用案例,并与主流的非关系数据库系统进行性能对比.实验结果表明,尽管数据装载性能略显不足,但DOLAP的性能要优于基于HBase,Hive,HadoopDB,OLAP4Cloud等主流非关系数据库系统实现的OLAP性能.

关键词：大数据、多维数据模型、OLAP、MapReduce

所属期刊栏目：25

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金61202088;中央高校基本科研业务费专项资金N120817001;中国博士后科学基金面上项目2013M540232;教育部博士点基金20120042110028;教育部-英特尔信息技术专项科研基金MOE-INTEL-2012-06

在线出版日期：2014-06-06（万方平台首次上网日期，不代表论文的发表时间）

页数：共22页

页码：731-752