基于混合专家模型的词语上下位关系判别方法

摘要：

词语的上下位关系判别是自然语言处理中一项基础且具有挑战性的任务.传统的有监督方法通常采用单个模型在整个语义空间中对所有上下位词对进行全局建模,并取得了一定的效果.然而,上下位关系的分布式语义表征具有相当的复杂性,在语义空间的不同区域中往往具有不同的表现,使得全局模型难以学习.针对此问题,文中提出了基于混合专家的上下位关系判别方法.该模型基于分而治之的策略,将语义空间划分为多个子空间,每个子空间对应一个局部专家(模型),局部专家(模型)关注它们自己的子空间,并采用门控机制决定空间的分割和专家的混合.实验结果表明,这种专家混合模型在公开数据集上的性能优于传统的全局模型.

关键词：上下位关系判别、混合专家、局部模型

所属期刊栏目：50

分类号：TP391(计算技术、计算机技术)

资助基金：国家重点研发计划;国家自然科学基金

在线出版日期：2023-03-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：285-291