海量自动气象站分钟数据存储检索系统设计

摘要：

地面自动气象站的时空密度不断增加,产生的观测数据量呈指数级增长,传统的关系型数据库在海量数据存储与检索方面存在能力不足、检索性能下降等问题.鉴于此,本文设计一种自动站分钟数据存储与检索系统.使用Quartz定时采集自动站分钟文件并解码入库;应用HBase分布式数据库建立分钟数据存储模型;针对多要素查询需求,应用Elasticsearch建立辅助索引,实现HBase的二级索引.系统测试结果表明,分钟数据入库平均耗时54.6 s,二级索引完整可靠,数据检索结果返回时效达到毫秒级,能够满足业务应用中对自动站分钟数据存储和检索时效的要求.

关键词：自动站分钟数据、Kafka、HBase、Elasticsearch、协处理器

分类号：TP311(计算技术、计算机技术)

资助基金：中国气象局关键技术集成项目CMAGJ2015 M29;安徽省气象局科技发展基金资助项目KM201604

在线出版日期：2017-10-31（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：40-44