基于Paragraph-BERT-CRF的科技论文摘要语步功能信息识别方法研究

摘要：

[目的]致力于自动识别科技论文摘要中的语步功能信息,明确论文的研究目的、研究方法、研究结果和研究结论,有助于快速获取文献主要内容,实现智能化语义检索.[方法]提出基于Paragraph-BERT-CRF神经网络架构的摘要语步识别模型,能够充分利用摘要文本中的篇章上下文信息,同时考虑了注意力机制和语步标签序列内部的转移关系.[结果]基于94 456条科技论文摘要数据集进行方法实证,Paragraph-BERT-CRF的加权平均精确率为97.45％、加权平均召回率为97.44％、加权平均F1值为97.44％.通过对比CRF、BiLSTM、BiLSTM-CRF、BERT、BERT-CRF、Paragraph-BERT等模型的消融实验结果,验证了本文方法的有效性.[局限]Paragraph-BERT-CRF模型仅使用了基础BERT-base预训练语言模型,模型参数有待进一步优化,更多预训练语言模型在语步功能信息识别中的应用有待研究.[结论]引入注意力机制和篇章上下文信息,能有效提升模型的预测效果,达到摘要语步信息识别的功能.

关键词：语步、自注意力机制、段落上下文、BERT

所属期刊栏目：6

分类号：TP391;G202;G255(计算技术、计算机技术)

资助基金：中国科学技术信息研究所重点工作项目;中国科学技术信息研究所创新研究基金面上项目;中国科学技术信息研究所创新研究基金青年项目

在线出版日期：2022-06-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：298-307