融合LDA与TextRank的关键词抽取研究

摘要：

[目的]通过将单一文档内部的结构信息和文档整体的主题信息融合到一起进行关键词抽取.[方法]利用LDA对文档集进行主题建模和候选关键词的主题影响力计算,进而对TextRank算法进行改进,将候选关键词的重要性按照主题影响力和邻接关系进行非均匀传递,并构建新的概率转移矩阵用于词图迭代计算和关键词抽取.[结果]实现LDA与TextRank的有效融合,当数据集呈现较强的主题分布时,可以显著改善关键词抽取效果.[局限]融合方法需要进行代价较高的多文档主题分析.[结论]关键词既与文档本身相关,也与文档所在的文档集合相关,二者结合是改进关键词抽取结果的有效途径.

关键词：关键词抽取、LDA、TextRank、图模型

分类号：TP393(计算技术、计算机技术)

资助基金：本文系国家社会科学基金项目“Web2.0环境下的网络舆情采集与分析”项目编号:09CTQ027和北京高等学校青年英才计划项目“基于链接和主题分析的微博社区挖掘研究”项目编号:YETP0215的研究成果之一.

在线出版日期：2014-09-04（万方平台首次上网日期，不代表论文的发表时间）

页码：41-47