基于预训练模型的政务领域实体关系抽取

摘要：

[目的/意义]海量电子政务信息资源极大地方便了人们对信息的获取,同时也给人们有效获取信息和知识提出了挑战.关系抽取是信息抽取的核心任务,政务领域的关系抽取对后续面向政务领域的智能检索、智能问答及政府公文生成等智慧化服务与建设具有深远影响.但是政务领域的文本中存在着大量的长实体,使得传统的关系抽取模型在政务领域数据集中的表现不尽如人意.[方法/过程]本文提出一种适用于政务领域的中文关系抽取模型CPRE-BERT,首先使用预训练BERT模型作为编码器,能够在一定程度上解决多义性、边界模糊以及领域关系数据数量不足的问题.其次,采用分类池化的思想分别处理短实体和长实体,最大程度上保留实体信息.最后,在中文领域人物关系公共数据集和政务领域数据集上的对比实验结果验证了模型的有效性.[结果/结论]实验结果表明,本文提出的方法在政务领域数据集上关系抽取的准确率和F1指标较基线模型分别提高了2.3％和2.2％.

关键词：关系抽取、深度学习、BERT模型、分类池化

所属期刊栏目：8

分类号：G35;TP391(情报学、情报工作)

资助基金：中国科学技术信息研究所情报工程实验室开放基金项目

在线出版日期：2022-10-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：3-13