期刊专题

10.3969/j.issn.1006-2475.2022.10.013

基于可分离结构变换的轻量级Vision Transformer

引用
由于视觉Transformer结构模型参数量大、浮点计算次数高,使得其难以部署到终端设备上.因为注意力矩阵存在低秩瓶颈,所以模型压缩算法和注意力机制加速算法不能很好地平衡模型参数量、模型推理速度和模型性能之间的关系.为了解决上述问题,本文设计一种轻量级的ViT-SST模型用于图像分类任务.首先,通过将传统全连接层转换为可分离结构,大幅度降低模型参数量且提高了模型推理速度,保证了注意力矩阵不会因出现低秩而破坏模型表达能力;其次,提出一种基于SVD分解的克罗内克积近似分解法,可以将公开的ViT-Base模型预训练参数转换至ViT-Base-SST模型,略微缓解了ViT模型的过拟合现象并提高了模型精度.在常见公开图片数据集CIFAR系列和Caltech系列上的实验验证了本文方法优于对比方法.

深度学习、计算机视觉、图像分类、模型压缩

TP391.4(计算技术、计算机技术)

中国福建光电信息科学技术创新实验室闽都创新实验室项目;福建省科技计划项目;福建省科技计划项目;泉州市科技计划项目;莆田市科技计划项目

2022-10-27(万方平台首次上网日期,不代表论文的发表时间)

共7页

75-81

暂无封面信息
查看本期封面目录

计算机与现代化

1006-2475

36-1137/TP

2022,(10)

专业内容知识聚合服务平台

国家重点研发计划“现代服务业共性关键技术研发及应用示范”重点专项“4.8专业内容知识聚合服务技术研发与创新服务示范”

国家重点研发计划资助 课题编号:2019YFB1406304
National Key R&D Program of China Grant No. 2019YFB1406304

©天津万方数据有限公司 津ICP备20003920号-1

信息网络传播视听节目许可证 许可证号:0108284

网络出版服务许可证:(总)网出证(京)字096号

违法和不良信息举报电话:4000115888    举报邮箱:problem@wanfangdata.com.cn

举报专区:https://www.12377.cn/

客服邮箱:op@wanfangdata.com.cn