DFTS:面向大数据集的Top-k Skyline查询算法

摘要：

Top-k Skyline查询结合了Top-k与Skyline的特性,可以在数据集中找到最好的点.但是,现有的算法在大数据环境下具有较高的时间开销.文中提出一种新的算法DFTS,其可以高效地在大数据集中进行Top-k Skyline查询.DFTS包括3个步骤:首先,利用度值评价函数对数据集进行排序,快速过滤掉大量的点,仅保留足够少的候选集;然后,对候选集进行Skyline查询计算,进一步排除掉Skyline集合外的点;最后,筛选出Top-k的数据点作为最终结果.通过这种方式,DFTS有效减少了算法的运行时间.从理论上证明了DFTS查询的最终结果符合Top-k Sky-line查询的要求.基于大数据集的大量实验表明,DFTS具有比现有算法更好的性能.

关键词：Skyline、Top-k、Apache Spark

所属期刊栏目：46

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金61672441;深圳市基础研究计划JCYJ20170818141325209

在线出版日期：2019-06-05（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：150-156