基于MapReduce快速kNN Join方法

丁治明戴健

中国科学院软件研究所;

摘要：

kNN连接是空间数据库领域里一个基本而又重要的问题,被广泛地应用于多个其他领域.它对提高众多实际应用的性能有着重要意义.随着目前参加kNN连接的数据集的增大和要求的响应时间的缩短(尤其在一些应急环境中),作者实际上对kNN连接的效率要求更高.然而,目前的方法大多基于单个进程或者单台机器,并不具有很好的伸缩性.为了解决这个问题,作者引入了map-reduce框架来运行kNNjoin并提出了两种新的方法:基于map-reduce的分布式网格概略化kNN join(DSGMP-J)和基于map-reduce的voronoi diagram下kNN join(VDMP-J).并把它们和最新的方法H-BNLJ进…展开v

关键词：kNN连接、大数据、MapReduce

所属期刊栏目：38

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金重大研究计划·重点项目2012.1～2014.12“面向非常规突发事件主动感知与应急指挥的物联网技术与系统”91124001;国家“八六三”高技术研究发展计划“智慧城市”重大专项之子课题2013.1～2015.12“面向城市动态运行管理的大规模数据智能检索技术”2013AA01A603;中国科学院“感知中国”先导专项·重点课题2012.1～2016.12“面向物理信息感知的传感器时空数据管理与海云服务合成引擎研究”XDA06020600;中国科学院战略性科技先导专项课题XDA06010600;The work is supported by the grants from the National Natural Science Foundation of China91124001,60970030

在线出版日期：2015-04-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：99-108