多层次知识自蒸馏联合多步骤训练的细粒度图像识别

摘要：

细粒度图像识别具有类内差异大、类间差异小的特点,在智能零售、生物多样性检测和智慧交通等领域中有着广阔的应用场景.提取到判别性强的多粒度特征是提升细粒度图像识别精度的关键,而已有工作大多只在单一层次进行知识获取,忽略了多层次信息交互对于提取鲁棒性特征的有效性.另外一些工作通过引入注意力机制来找到局部判别区域,但这不可避免地增加了网络复杂度.为了解决这些问题,提出了多层次知识自蒸馏联合多步骤训练的细粒度图像识别(multi-level knowledge self-distillation with multi-step training for fine-grained image recognition,MKSMT)模型.该模型首先在网络浅层进行特征学习,然后在深层网络再次进行特征学习,并利用知识自蒸馏将深层网络知识迁移至浅层网络中,优化后的浅层网络又能帮助深层网络提取到更鲁棒的特征,进而提高整个模型的性能.实验结果表明,MKSMT在CUB-200-2011、NA-Birds和Stanford Dogs这 3个公开细粒度图像数据集上分别达到了 92.8%、92.6%和91.1%的分类准确度,性能优于当前大部分细粒度识别算法.

关键词：细粒度图像识别、知识自蒸馏、Swin Transformer、特征学习、鲁棒特征

所属期刊栏目：60

分类号：TP391(计算技术、计算机技术)

在线出版日期：2023-08-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：1834-1845