基于RoBERTa-wwm动态融合模型的中文电子病历命名实体识别

摘要：

[目的]提出基于RoBERTa-wwm动态融合的实体识别模型,提高中文电子病历实体识别效果.[方法]将预训练语言模型RoBERTa-wwm各Transformer层生成的语义表示进行动态融合后,输入双向长短时记忆网络和条件随机场模块完成电子病历中的实体识别.[结果]在"2017全国知识图谱与语义计算大会(CCKS2017)"数据集与自主标注的电子病历数据集上F1值分别达到94.08％和90.08％,在RoBERTa-wwm-BiLSTM-CRF模型的基础上提高了 0.23％与0.39％.[局限]本文所采用的RoBERTa-wwm基于非医学语料完成预训练过程.[结论]语义层的动态融合能更好利用各编码层的不同信息,提升下游实体识别任务效果.

关键词：电子病历、命名实体识别、RoBERTa-wwm、动态融合

所属期刊栏目：6

分类号：TP391(计算技术、计算机技术)

资助基金：教育部人文社会科学研究项目;吉林省社会科学基金项目;吉林大学研究生创新基金项目

在线出版日期：2022-06-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：242-250