基于Spark的空间大数据实时查询分析关键技术研究

摘要：

传统的数据处理系统在数据储存和分析过程中还存在很多不足,无法满足大数据处理分析需求,为了能够充分体现数据的价值性,需要进行高效信息处理.因此,提出了Spark系统并结合SIMBA的思路,建立了大数据分析系统,且基于数据库查询方式完成信息检索.在Spark系统中可以引入索引机制,用于提升信息的检索效率,建立线段树储存方式能够进一步提升检测效率,在数据处理方面可以利用分区策略的方式完成数据分区,通过全局过滤和局部索引的方式,确保在信息查询中能够实现高吞吐量以及低延迟性.

关键词：Spark、空间大数据、实时查询、关键技术

所属期刊栏目：22

分类号：TN919.5

在线出版日期：2019-12-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：57-59