基于水车模型的时序大数据快速存储

摘要：

近年来,随着物联网的高速发展,传感器部署的规模日益壮大.大规模的传感器每秒都会产生大量数据流,并且数据的价值会随着时间的流逝逐渐降低.因此,存储系统不仅需要能承受高速到达的数据流带来的写入压力,还需要以最快的速度将数据持久化,以供后续的查询和分析.这对存储系统的写入性能提出了更高的要求.基于水车模型的快速存储系统可以满足大数据应用场景下的高速时序数据流快速存储需求.该系统部署在高速时序数据流和底层存储节点之间,利用多个数据桶构建一个逻辑上轮转的存储模型(类似于中国古代的水车),并且通过控制每个数据桶的状态来协调数据的写入和落盘.水车模型将数据桶分配给不同的底层存储节点,从而将瞬时写入压力均摊到多个底层存储节点上,并借助多节点的并行写入提高写吞吐.水车模型被部署在单机版MongoDB上,并和分布式MongoDB进行了实验对比.实验结果表明,水车模型可以有效提升系统的写吞吐,降低写入延迟,并且具有良好的横向可扩展性.

关键词：时序大数据、流式数据、快速存储、水车模型、中间件

所属期刊栏目：50

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金62072419

在线出版日期：2023-02-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：25-33