一种基于MapReduce的实体共指消解方法

摘要：

在信息技术和工业自动化迅速发展的时代,源源不断地产生着大批量的数据,这些数据中大量指代同一实体的重复数据,给数据分析和处理带来了很大的困难.在以往研究的基础上,提出了一种基于MapReduce的实体共指消解的方法,该方法通过引入权重和相似度的度量指标,利用Hadoop平台和MapReduce框架把数据处理成key-value数据实体对的形式,进而对数据进行共指消解处理.经过实验,表明了该方法能够提高实体共指消解的准确率和速度,满足了企业在当前形势下实体共指消解的需求.

关键词：实体共指消解、MapReduce、权重、相似度

所属期刊栏目：30

分类号：TP301(计算技术、计算机技术)

资助基金：山东省自主创新及成果转化专项2014ZZCX03408

在线出版日期：2017-04-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：61-64