基于特征图自注意力机制的神经网络剪枝算法

摘要：

神经网络压缩为神经网络在资源受限设备上的部署提供了便利,基于特征图的神经网络剪枝算法充分挖掘数据的先验信息,表现出很好的压缩性能.现有算法在剪枝过程中通常运用特征图的全部信息,容易遭受由背景或噪声引起的精度损失.针对这个问题,提出了一种基于特征图自注意机制的剪枝算法,通过自注意力机制获取每层特征图的注意区域,计算特征图注意区域的激活能量,删除注意区域激活能量较小的特征图,进而剪枝对应的滤波器.算法有效减少由背景及噪声带来的剪枝精度损失.该算法能在几乎不损失网络精度的情况下更大限度地压缩网络,在神经网络模型的加速与压缩上都有不错的效果.

关键词：卷积神经网络、网络压缩、权重剪枝、自注意力机制

所属期刊栏目：18

分类号：TP391.41;TP183(计算技术、计算机技术)

资助基金：国家自然科学基金;深圳市科技计划项目

在线出版日期：2021-04-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：44-50