结合注意力转移与特征融合算法的在线知识蒸馏

摘要：

为构建一个强大的在线集成教师指导各子网络学习的在线知识蒸馏模型,提升模型准确率,提出了一种结合注意力与特征融合的在线知识蒸馏方法(KD-ATFF),在各子网络输出处利用特征融合模块融合各分支最后一个block学习到的知识,从而构建强大的教师模型,指导各分支训练,同时利用所提的CL模块将深层神经元的注意力转移到浅层网络进行互学习,以增加各block的多样性,进一步提升单个子网络的性能.在CIFAR10/100数据集上进行实验,KD-ATFF与baseline方法相比错误率降低了约30％,于DML相比错误率最大降低了1.76％,验证了算法的有效性.

关键词：在线知识蒸馏、注意力转移、特征融合、互学习

所属期刊栏目：39

分类号：TP399(计算技术、计算机技术)

资助基金：芜湖市科技计划项目;安徽理工大学环境友好材料与职业健康研究院研发专项基金资助项目

在线出版日期：2023-02-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：31-35