海量多维数据的存储与查询研究

摘要：

基于数据仓库的OLAP系统是当前海量多维数据分析的主要工具.随着信息技术的发展,海量多维数据的规模急剧增长,结构日益复杂,OLAP系统的性能严重下降,已经无法满足人们的数据分析需求.基于分布式计算系统Hadoop给出了新的海量多维数据的存储方法和查询方法.设计了HDFS上的列存储文件格式HCFile,基于HCFile给出了海量多维数据存储方案,该方案能够提高聚集计算效率,并有很好的可扩展性.同时,利用多维数据的层次性语义特征,设计了维层次索引,并给出了利用维层次索引和MapReduce进行聚集计算的方法.通过和Hive的对比实验,表明了数据存储方案和查询方法能够有效提高海量多维数据分析的性能.

关键词：海量多维数据、Hadoop、数据索引、聚集查询

所属期刊栏目：52

分类号：TP333(计算技术、计算机技术)

资助基金：国家自然科学基金61370207,61572128;国家电网公司总部科技项目

在线出版日期：2016-07-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：25-31