基于分层抽样的重叠深网数据源选择

摘要：

深网查询在Web上众多的应用,需要查询大量的数据源才能获得足够的数据,如多媒体数据搜索、团购网站信息聚合等.应用的成功,取决于查询多数据源的效率和效果.当前研究侧重查询与数据源的相关性而忽略数据源之间的重叠关系,使得不同数据源上相同结果的数据被重复查询,增加了查询开销及数据源的工作负载.为了提高深网查询的效率,提出一种元组水平的分层抽样方法来估计和利用查询在数据源上的统计数据,选择高相关、低重叠的数据源,该方法分为两个阶段:离线阶段,基于元组水平对数据源进行分层抽样,获得样本数据;在线阶段,基于样本数据迭代地估计查询在数据源上的覆盖率和重叠率,并采用一种启发式策略以高效地发现低重叠的数据源,实验结果表明,该方法能够显著提高重叠数据源选择的精度和效率.

关键词：数据源选择、分层抽样、数据源重叠率估计、回归

所属期刊栏目：28

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金61232002,61202035;湖北省科技支撑计划2015BAA127National Natural Science Foundation of China61232002,61202035;Science and Technology Support Program of Hubei Province2015BAA127

在线出版日期：2017-06-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共25页

页码：1271-1295