利用整数线性规划自动抽取多样性关键短语

摘要：

关键短语是文本信息的精简概括,能够代表文本的主题和核心观点.而关键短语的自动抽取更是自然语言处理和信息检索的重要任务之一.针对目前无监督方法自动抽取关键短语存在过度生成候选短语语义的问题,提出了一种将整数线性规划和短语语义相似度相结合的自动抽取算法.通过惩罚语义相似度高的候选短语实现目标函数的最大化,以此形成多样性的关键短语.实验利用TextRank和TFIDF算法在两种不同的语料集中分别产生候选短语,并利用提出的优化算法对候选短语的权值得分进行优化.最后将所提算法产生的优化结果与现有多个算法的结果进行了比较.实验结果表明,通过加入相似性度量的惩罚能够有效解决语义过度问题,并获取更多样的关键短语,其优化结果的P,R和F值均高于其他算法.

关键词：关键短语自动抽取、整数线性规划、语义过度生成、多样性

所属期刊栏目：46

分类号：TP309(计算技术、计算机技术)

资助基金：四川省科技支撑项目2014GZ0063;四川省重点研发项目2018GZ0182

在线出版日期：2019-07-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：56-59,70