面向海量NetFlow数据的存储和查询处理方法研究

摘要：

针对全国骨干网高速海量NetFlow数据到来速度快、数据量大以及对所存数据进行频繁多维查询操作的特点,提出了一种多维属性聚簇存储(MACS)模型.该模型根据实际应用环境中查询的特点对数据进行空间分片,以并行加流水的方式对数据进行存储.此外,为NetFlow提出了一种超多面体的查询模式.真实环境实验结果表明,运用MACS模型实现的系统单点数据实时存储速度达到270万条/s,远远快于其他的数据分析系统,并且多维属性查询的速度优于Hive和Impala.

关键词：NetFlow、多维属性聚簇存储、MACS)模型、实时数据存储、超多面体

所属期刊栏目：26

分类号：TP3;D92

资助基金：国家科技支撑计划2012BAH46B03;国家自然科学基金61402473;核高基2013ZX01039-002-001-001;中国科学院先导专项XDA06030200

在线出版日期：2016-11-30（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：534-541