基于语义词典和词频信息的文本相似度计算

摘要：

为了克服传统的文本相似算法缺乏综合考虑语义理解和词语出现频率的缺点,在基于语义词典的词语相似度计算的基础上,提出了一种基于语义词典和词频信息的文本相似度(TSSDWFI)算法.通过计算两文本词语间的扩展相似度,找出文本词语间最大的相似度配对,从而计算出文本间的相似度.这种相似度计算方法利用语义词典,既考虑了不同文本间词语的相似度关系,又考虑了词语在各自文本中的词频高低.实验结果表明,与传统的语义算法和基于空间向量的文本相似度计算方法相比,TSSDWFI算法计算的文本相似度的准确度有了进一步提高.

关键词：文本挖掘、文本相似度、语义词典、关键词、词频

所属期刊栏目：44

分类号：TP391(计算技术、计算机技术)

在线出版日期：2018-01-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：422-427