自然语言处理预训练模型的研究综述

摘要：

近年来,深度学习技术被广泛应用于各个领域,基于深度学习的预处理模型将自然语言处理带入一个新时代.预训练模型的目标是如何使预训练好的模型处于良好的初始状态,在下游任务中达到更好的性能表现.对预训练技术及其发展历史进行介绍,并按照模型特点划分为基于概率统计的传统模型和基于深度学习的新式模型进行综述;简要分析传统预训练模型的特点及局限性,重点介绍基于深度学习的预训练模型,并针对它们在下游任务的表现进行对比评估;梳理出具有启发意义的新式预训练模型,简述这些模型的改进机制以及在下游任务中取得的性能提升;总结目前预训练的模型所面临的问题,并对后续发展趋势进行展望.

关键词：深度学习、自然语言处理、预处理、词向量、语言模型

所属期刊栏目：56

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;教育部人文社科项目;浙江省基础公益研究计划项目;浙江省教育厅一般科研项目;宁波市自然科学基金;国家级大学生创新创业训练计划项目

在线出版日期：2020-12-04（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：12-22