特征图自适应知识蒸馏模型

摘要：

针对嵌入式和移动设备的计算和存储资源受限,紧凑型网络优化易收敛至较差局部最优解的问题,提出一个特征图自适应知识蒸馏模型,其由特征图适配器和特征图自适应知识蒸馏策略构成.首先,特征图适配器通过异构卷积与视觉特征表达模块的堆叠实现特征图尺寸匹配、教师学生网络特征同步变换及自适应语义信息匹配.其次,特征图 自适应知识蒸馏策略将适配器嵌入教师网络对其进行重构,并在训练过程中实现适合用于学生网络隐藏层监督特征的自适应搜索;利用适配器前部输出提示学生网络前部训练,实现教师到学生网络的知识迁移,并在学习率约束条件下进一步优化.最后,在图像分类任务数据集cifar-10上进行实验验证,结果表明,特征图 自适应知识蒸馏模型分类正确率提高0.6％,推断损失降低6.5％,并将收敛至78.2％正确率的时间减少至未迁移时的5.6％.

关键词：人工智能、知识蒸馏、特征图自适应、模型迁移、图像分类

所属期刊栏目：60

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金;国家自然科学基金

在线出版日期：2022-08-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：881-888