基于非对称多值特征杰卡德系数的高维语义向量差异性度量方法

摘要：

语义向量差异性度量是采用深度学习方法解决自然语言处理领域问题的重要基础.在高维语义向量差异性度量中存在“度量集中”问题,导致通过传统的度量方法得到的度量结果无法体现语义向量间的差异性.针对该问题,提出一种基于非对称多值特征杰卡德系数的差异性度量方法.由高维语义向量维度值的统计分布得出,部分维度的维度值密集地分布在特定值域内,导致其无法贡献差异度,因此不同维度对差异性的贡献量不同,具有非对称性.该方法定义了关于维度值的重要性函数,选取重要性函数值满足阈值的维度参与差异度计算,去掉无法贡献差异度的维度,从而实现了降维,缓解了“度量集中”问题.分别在渔业数据集和公开数据集上,对不同维度的语义向量的不同度量方法进行了比较,结果表明在语义性没有明显变差的情况下,所提方法的多样性指标较目前最优的度量方法有大幅提高.

关键词：非对称多值特征、杰卡德系数、高维语义向量、度量方法、度量集中

所属期刊栏目：45

分类号：TP183(自动化基础理论)

资助基金：大连市科技计划项目:海洋渔业大数据管理与集成关键技术研究2015A11GX022;辽宁省大学生创新创业项目:渔业领域智能问答系统的研究与实现201710158000131

在线出版日期：2018-08-30（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：57-66