Adapter与Prompt Tuning微调方法研究综述

摘要：

文本挖掘是数据挖掘的一个分支学科,涵盖多种技术,其中自然语言处理技术是文本挖掘的核心工具之一,旨在帮助用户从海量数据中获取有用的信息.近年来,预训练模型对自然语言处理的研究和发展有重要的推动作用,预训练模型的微调方法也成为重要的研究领域.根据近年来预训练模型微调方法的相关文献,选择目前主流的Adapter与Prompt微调方法进行介绍.对自然语言处理的发展脉络进行简要梳理,分析目前预训练模型微调存在的问题与不足;介绍Adapter与Prompt两类微调方法,对两个研究方向中经典方法进行介绍,并从优缺点和性能等方面进行详细分析;进行总结归纳,阐述目前预训练模型的微调方法存在的局限性并讨论未来发展方向.

关键词：文本挖掘、自然语言处理、深度学习、预训练模型、微调方法

所属期刊栏目：59

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;宁夏自然科学基金项目;北方民族大学校级科研启动项目;北方民族大学研究生创新项目

在线出版日期：2023-02-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：12-21