基于词向量的Jaccard相似度算法

摘要：

通过对传统Jaccard算法的研究和改进,提出了一种基于词向量的Jaccard句子相似度算法.传统的Jaccard算法以句子的字面量为特征,因而在语义层面的相似度计算方面受到了一定的限制.而随着深度学习的兴起,尤其是词向量的提出,词语在计算机中的表示有了突破性的进展.该算法首先通过训练将每个词语映射为语义层面的高维向量,然后计算各个词向量之间的相似度,高于阈值α的作为共现部分,最终计算句子的相似度.实验表明,相较于传统的Jaccard算法,该算法在短文本相似度计算的准确率上有较明显的提升.

关键词：词向量、Jaccard算法、句子相似度

所属期刊栏目：45

分类号：TP391.1(计算技术、计算机技术)

资助基金：国家自然科学基金61379109

在线出版日期：2018-08-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：186-189