基于多路分块的Pay-as-you-go实体识别方法

摘要：

实体识别是数据集成和数据清洗的一个重要方面.针对Pay-as-you-go数据管理需求,本文提出一个基于多路分块的Pay-as-you-go实体识别方法.该方法不要求提供最优的分块或排序的键,并且可以直接找出脏数据集中冗余度最大的区域.分为两个阶段,初始化阶段和迭代阶段.在初始化阶段,初步地生成候选数据对象对,并按匹配可能性排序后加入到候选队列.在迭代阶段,每次选择候选队列队首的候选对(即最可能匹配的)来处理,并且根据实时的实体识别结果,动态地更新候选对的匹配可能性,调整候选队列.这样减少了无用的数据对象比较,使得实时的识别结果最优化.通过在真实数据集和合成数据集上的实验对比,说明本文提出的基于多路分块的Pay-as-you-go实体识别方法显著地优于已有工作中提出的方法.

关键词：实体识别、Pay-as-you-go、多路分块、候选对选择、数据集成、数据清洗

所属期刊栏目：42

分类号：TP391(计算技术、计算机技术)

资助基金：国家“九七三”重点基础研究计划基金项目2012CB316201;国家自然科学基金项目U1435216,61672142,61472070,61602103;国家重点研发计划项目2018YFB1003404

在线出版日期：2019-09-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共17页

页码：1704-1720