融合多头自注意力的远程监督关系抽取方法

摘要：

[目的/意义]在关系抽取的研究领域中,通过远程监督方法可以快速地获取大量标注好的训练数据,但是其存在的关系标签错误标注问题会引入大量噪声数据.已有的研究工作主要使用注意力机制来降低噪声数据的影响,但这种方法在注意力分配时使用的是含有噪声的关系标签,可能导致"越学越错"的问题.[方法/过程]本文提出了一种融合多头自注意力的远程监督关系抽取方法,在词级别注意力分配上,使用多头自注意力计算并分配权重,在句子级别注意力分配上,使用头、尾两实体的语义表征作为权重分配的依据,从而避免采用有噪声的关系标签作为注意力分配的依据,以降低噪声的影响.[结果/结论]在公开数据集上的实验结果表明,相较于使用有噪声的关系标签来分配注意力,所提方法的性能有了显著提高.

关键词：关系抽取;远程监督;多头自注意力;实体特征

所属期刊栏目：7

分类号：G35;TP391(情报学、情报工作)

资助基金：国家自然科学基金;融合谓词框架和语义知识的神经机器翻译研究;基于语义组合的开放域汉语复述研究

在线出版日期：2022-03-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共13页

页码：45-57