Bi-Attention:面向终端的细粒度识别网络加速方法

摘要：

细粒度识别是针对具有微小差异的对象进行分类的图像识别任务,深度学习模型在细粒度识别任务上取得了较大的进步.然而现有的细粒度识别深度神经网络模型采用多个模型结构叠加,无法在手机、无人机等资源受限终端设备上部署.本文提出Bi-At-tention细粒度识别模型加速方法,使用高效的TensorSketch运算以及权重共享机制,在Stanford Cars数据集上的准确率为91.6％,且比现有最先进的模型提高1.2％.本文提出一种结构化剪枝训练方法,通过LASSO正则化算法,在模型训练过程删除批归一化(BN)操作中不重要的扩展因子.实验结果表明,该剪枝方法可以降低Bi-Attention模型大小为原来的1/4.

关键词：细粒度识别、Attention、结构化剪枝、L1正则化、终端

所属期刊栏目：33

分类号：TP391.41;TN929.53;TP183

资助基金：中国科学院战略性先导科技专项XDA19020400

在线出版日期：2023-05-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：156-166