基于句向量的文本相似度计算方法

摘要：

为进一步提高文本相似度计算的准确性,提出基于句向量的文本相似函数(part of speech and order smooth inverse fre-quency,PO-SIF),从词性和词序方面优化了平滑反频率(smooth inverse frequency,SIF)计算方法,SIF算法的核心是通过加权和去除噪声得到句向量来计算句子相似度.在具体计算时,一方面通过增加词性消减因子调节SIF句向量计算权重参数,获得带有词性信息的句向量,另一方面通过将词序相似度与SIF句向量相似度算法进行线性加权优化句子相似度得分.实验结果表明,增加词性和词序的方法可以提升算法准确率.

关键词：平滑逆频率、句向量、词性、词序相似度

所属期刊栏目：20

分类号：TP391.2(计算技术、计算机技术)

在线出版日期：2020-07-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：6950-6955