基于多层次知识蒸馏的连续图像语义分割方法

摘要：

为让学生模型学习到更全面的表征知识,提出一种多层次知识蒸馏方法,将教师模型的知识分为高、中、低多层次进行蒸馏.这3种层次的知识分别被指代为模型预测值、多尺度融合特征图以及特征层中的特征值,并以多层次知识为基础设计蒸馏项.首先基于低层次知识的特征蒸馏保证学生模型与教师模型的特征分布尽可能接近;再以中层次知识为基础,将图像的空间结构知识传递给学生模型;最后利用高层次的知识编码相邻帧间的依赖关系,并将该隐含知识传递给学生模型.此外定义的语义一致性损失也可有效改善像素点在前后帧标签预测不一致的情况.实验证明,该蒸馏方法能显著提升学生模型的精度,并在模型精度和轻量化方面取得了更好的平衡,具备良好的应用前景.

关键词：语义分割、知识蒸馏、连续图像、轻量模型、相似性计算

所属期刊栏目：29

分类号：TP181(自动化基础理论)

资助基金：工信部工业互联网创新发展工程资助项目TC190H3WR

在线出版日期：2023-05-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：1244-1253