基于概率推断的质量控制智能体

摘要：

实体解析(Entity Resolution,ER)是数据集成和清洗领域的基础问题,而不一致性消歧(Inconsistency Recon-ciliation,IR)通过对现存的不同ER算法产生的不一致记录对进行消歧,进一步提升解析效果.但是现有的IR方法有一个局限,即消歧结果没有质量保障.对此,首次提出了一个基于概率推断的质量控制智能体,记为QCAgent.该智能体不需要训练数据集,能够在满足给定查准率的约束条件下输出查全率最大的消歧结果.它的核心思想是:首先,使用异常点检测模型来估算不一致记录对匹配的概率,并依据这些概率估算查准率和查全率,再将计算出的查准率和查全率作为环境端的反馈;其次,使用二分搜索算法,选择满足查准率要求且查全率最大的翻转方案,作为QCAgent的下一次行动;然后,用更新后的一致结果训练异常点模型,并估算查准率和查全率.按此循环,当新估计的查准率满足约束条件时,该迭代过程停止.在真实的数据集上,实验结果表明:QCAgent能够有效解决消歧结果的质量控制问题.

关键词：质量控制、实体解析、不一致性消歧、智能体、查准率

所属期刊栏目：46

分类号：TP391(计算技术、计算机技术)

资助基金：中国科技部国家重点研发计划2016YFB1000703 ,国家自然科学基金重点项目61732014 ,61332006 ,国家自然科学基金面上项目61472321 ,61672432 ,国家自然科学基金青年项目61502390 ,陕西省自然科学基础研究计划2018JM6086 ,西北工业大学中央高校基本科研业务费项目3102017jg02002

在线出版日期：2019-05-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：8-13