期刊专题

10.11896/jsjkx.210100060

面向海量空间数据的分布式距离连接算法

引用
空间距离连接是空间数据分析最基本的操作之一,具有广泛的应用场景.针对现有分布式方法的空间域选取过大、数据倾斜、自连接较慢的问题,提出了一种新的面向海量空间数据的分布式距离连接算法JUST-Join.首先,JUST-Join仅选取必要的空间区域作为全局域,能够提前过滤数据,减少无效的数据传输和不必要的计算开销;然后,同时考虑了参与连接的两个数据集的分布,从而缓解了数据倾斜问题;最后,针对自连接情形的冗余计算,采用平面扫描算法来进一步提高效率.文中使用Spark实现了JUST-Join算法,并利用真实的数据集做了大量实验.实验结果表明,JUST-Join算法在效率和扩展性方面都优于现有的最先进的分布式空间分析系统.

空间距离连接;空间分区;分布式计算;空间索引;时空数据

49

TP338(计算技术、计算机技术)

国家重点研发计划2019YFB2101801

2022-01-21(万方平台首次上网日期,不代表论文的发表时间)

共6页

95-100

暂无封面信息
查看本期封面目录

计算机科学

1002-137X

50-1075/TP

49

2022,49(1)

专业内容知识聚合服务平台

国家重点研发计划“现代服务业共性关键技术研发及应用示范”重点专项“4.8专业内容知识聚合服务技术研发与创新服务示范”

国家重点研发计划资助 课题编号:2019YFB1406304
National Key R&D Program of China Grant No. 2019YFB1406304

©天津万方数据有限公司 津ICP备20003920号-1

信息网络传播视听节目许可证 许可证号:0108284

网络出版服务许可证:(总)网出证(京)字096号

违法和不良信息举报电话:4000115888    举报邮箱:problem@wanfangdata.com.cn

举报专区:https://www.12377.cn/

客服邮箱:op@wanfangdata.com.cn