基于知识蒸馏的YOLOv3算法研究

摘要：

知识蒸馏作为一种模型压缩方法,将大网络(教师网络)学到的知识传递给小网络(学生网络),使小网络获得接近大网络的精度.知识蒸馏在图像分类任务上获得不错的效果,但在目标检测上的研究较少,且有待提高.当前目标检测中主要基于特征提取层进行知识蒸馏,该类方法存在两个问题,第一,没有对教师网络传递知识的重要程度进行度量,第二,仅对特征提取层进行蒸馏,教师网络的知识未充分传递给学生网络.针对第一个问题,通过引入信息图作为蒸馏的监督信号,强化了学生网络对教师网络重点知识的学习;针对第二个问题,对特征提取层和特征融合层的输出同时进行蒸馏,使学生网络更充分地学习教师网络传递的知识.实验结果表明,以YOLOv3为检测模型,在不改变学生网络结构的基础上,平均类别精度(mAP)提升9.3个百分点.

关键词：知识蒸馏、模型压缩、目标检测、YOLOv3

所属期刊栏目：58

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金

在线出版日期：2022-09-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：174-180