基于Transformer架构的GPT系列模型训练技术分析

摘要：

自人工智能诞生以来,经过了多次演化和迭代,已成为推动全球经济和产业变革的重要力量.大型语言模型GPT的发布,让越来越多的人对生成式人工智能有了全新的认知,由此引发了国内外的高度关注.基于Transformer架构的GPT系列模型从1到4,为下游各种类型的NLP任务提供了非常优秀的词向量模型,在此基础上必将落地更多有趣的AI应用.本文阐述了 GPT的发展历程,分析了 GPT-4多模态架构的训练技术,指出了其存在的局限性.

关键词：人工智能、GPT、模型、数据集

所属期刊栏目：34

分类号：TP391;TN912.34;TP181

资助基金：四川省科技计划项目;中央高校基本科研业务费专项

在线出版日期：2023-11-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：16-18,22