基于深度学习的学术论文语步结构分类方法研究

摘要：

[目的]以深度学习语言表征模型学习论文句子表达,以此为基础构建论文语步分类模型,提高分类效果.[方法]采用基于深度学习预训练语言表征模型BERT,结合句子文中位置改进模型输入,以标注数据集进行迁移学习,获得句子级的嵌入表达,并以此输入神经网络分类器训练分类模型,实现论文语步分类.[结果]基于公开数据集的实验结果表明,11类别分类任务中,总体准确率提高了29.7％,达到81.3％;在7类别核心语步分类任务中,准确率达到85.5％.[局限]受限于实验环境,所提改进输入模型的预训练参数来源于原始的模型结构,迁移学习的参数对于新模型输入的适用程度可进一步探索.[结论]该方法较传统的“特征构建+机器学习”分类器方法效果有大幅提高,较原始BERT模型亦有一定提高,且无须人工构建特征,模型不局限于特定语言,可应用于中文学术论文的语步分类任务,具有较大的实际应用潜力.

关键词：语步分类、深度学习、双向编码器、神经网络

所属期刊栏目：4

分类号：TP391(计算技术、计算机技术)

资助基金：本文系中国农业科学院科技创新工程项目“多源异构农业大数据关联发现与计算挖掘”项目编号:CAAS-ASTIP-2016-AII

在线出版日期：2020-08-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：60-68