多特征融合的文本相似度方法

摘要：

通过从多方面考虑在自然语言处理中文本相似度的问题,从而提升文本相似度计算的准确性.提出一种多特征融合的文本相似度方法,该方法使用Jaro Distance编辑距离算法结合相同词计算文本结构相似度,使用长短时记忆网络的双塔模型算法计算文本语义相似度,使用融合多向量模型的双向长短时记忆网络的注意力算法计算文本相似度.考虑上述三种特征,通过线性加权调整模型的权重以避免其中任意一种方法计算出的相似度过大或者过小对最终的文本相似度造成不好的影响.以文本相似度的实验值与真实值的均方误差作为衡量标准,均方误差越小方法效果越好.实验结果表明,MFTM算法比WBLSA、MVBLSA算法的MSE值在SICK数据集上平均降低了5.4％、1.276％,因此,提出的算法在文本相似度计算上的效果更好.

关键词：特征融合、文本相似度、改进编辑距离、长短时记忆网络、双塔模型、注意力机制

所属期刊栏目：46

分类号：TN911.1-34;TP391.1

资助基金：国家自然科学基金41872243

在线出版日期：2023-06-05（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：103-108