基于对比学习增强句子语义的事件检测方法

摘要：

事件检测旨在识别文本中提到的事件及其类型.基于触发词的事件检测方法需要额外的人工成本标注事件触发词.本文从无触发词的文本语义提取出发,提出了一种基于对比学习增强句子语义的事件检测方法.该方法首先在事件检测数据集上通过自监督学习对预训练的语言模型基于转换器的双向编码表示器(BERT)调优,提高语言模型的领域适应性.然后利用掩码(mask)操作和丢弃(dropout)操作构建自监督对比样例,增加监督对比样例,实现了 自监督对比和监督对比2种句子语义增强的方法.此外在训练过程中自动调整对比损失和事件分类的交叉熵损失的权重,以降低人工调参的成本,同时提高模型收敛速度.在自动内容抽取(ACE)2005中英文语料上的实验结果表明,本文方法比先前无触发词事件检测方法取得更好的结果,与利用预训练BERT模型微调的事件检测方法相比也具有优势.

关键词：事件检测、自监督对比学习、监督对比学习、语义增强、自动调整权重

所属期刊栏目：33

分类号：TP391;TP183;TN912.34

资助基金：国家重点研发计划2021YFF0703800

在线出版日期：2023-09-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共14页

页码：669-682