基于ELECTRA模型与词性特征的金融事件抽取方法研究

摘要：

[目的]针对金融事件抽取中金融事件实体边界模糊、抽取不准确的问题,提出基于预训练模型ELECTRA和词性特征的金融事件抽取方法.[方法]为增强模型对金融关键实体的感知力,充分考虑语料原始的语义信息以及词性特征信息,将语料分别通过两个ELECTRA预训练模型后进行融合操作,达到增强语义的效果;将学习到的信息传入BiGRU中,获取上下文长距离的语义依赖,输出原始的序列标签;利用CRF克服标签偏差问题,通过上述步骤完成金融事件抽取.[结果]基于预训练模型ELECTRA和词性特征的金融事件抽取方法在金融事件数据集上F1值达到70.96％,比经典的抽取模型BiLSTM-CRF性能提升20.74个百分点.[局限]数据集中事件数较少,预训练模型体积较大,会受到GPU/TPU内存的限制.[结论]本文模型能够更加全面地捕捉金融事件元素之间的联系,提升金融事件抽取的效果.

关键词：ELECTRA;词性特征;金融事件抽取;预训练模型

所属期刊栏目：5

分类号：TP183(自动化基础理论)

资助基金：本文系国家自然科学基金青年项目;国家自然科学基金重大研究计划培育项目;国家自然科学基金青年项目

在线出版日期：2021-09-30（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：36-47