基于Map/Reduce的外壳片段立方体并行计算方法

摘要：

针对高维、维度分层的大数据集，提出一种基于Map/Reduce框架的并行外壳片段立方体构建算法。算法采用Map/Reduce框架，实现外壳片段立方体的并行构建与查询。构建算法在Map过程中，计算出各个数据分块所有可能的数据单元或层次维编码前缀；在Reduce过程中，聚合计算得到最终的外壳片段和度量索引表。实验证明，并行外壳片段立方体算法一方面结合了Map/Reduce框架的并行性和高扩展性，另一方面结合了外壳片段立方体的压缩策略和倒排索引机制，能够有效避免高维数据物化时数据量的爆炸式增长，提供快速构建和查询操作。

关键词：联机分析处理、外壳片段立方体、Map/Reduce技术、并行计算

分类号：TP391(计算技术、计算机技术)

资助基金：水利部公益性行业科研专项No.201501022。

在线出版日期：2015-12-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：124-129