一种多教师模型知识蒸馏深度神经网络模型压缩算法

摘要：

为了能将庞大的深度学习模型压缩后部署到算力和存储能力有限的设备中时尽可能减小精度损失,对知识蒸馏模型压缩方法进行研究,提出了一种改进后带筛选的多教师模型知识蒸馏压缩算法.利用多教师模型的集成优势,以各教师模型的预测交叉熵为筛选的量化标准筛选出表现更好的教师模型对学生进行指导,并让学生模型从教师模型的特征层开始提取信息,同时让表现更好的教师模型在指导中更具有话语权.在CIFAR100数据集上的VGG13等分类模型实验结果表明,与其他压缩算法相比在最终得到的学生模型大小相同的情况下,精度上有着更好的表现.

关键词：模型压缩、知识蒸馏、多教师模型、交叉熵、特征层

所属期刊栏目：49

分类号：TP399(计算技术、计算机技术)

资助基金：福建省科技计划引导性项目2022H0042

在线出版日期：2023-08-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：7-12