卷积神经网络混合截断量化

摘要：

量化是压缩卷积神经网络、加速卷积神经网络推理的主要方法.现有的量化方法大多将所有层量化至相同的位宽,混合精度量化则可以在相同的压缩比下获得更高的准确率,但寻找混合精度量化策略是很困难的.为解决这种问题,提出了一种基于强化学习的卷积神经网络混合截断量化方法,使用强化学习的方法搜索混合精度量化策略,并根据搜索得到的量化策略混合截断权重数据后再进行量化,进一步提高了量化后网络的准确率.在ImageNet数据集上测试了ResNet18/50以及MobileNet-V2使用此方法量化前后的Top-1准确率,在COCO数据集上测试了YOLOV3网络量化前后的mAP.与HAQ,ZeroQ相比,MobileNet-V2网络量化至4位的Top-1准确率分别提高了2.7％和0.3％;与分层量化相比,YOLOV3网络量化至6位的mAP提高了2.6％.

关键词：卷积神经网络、混合精度量化、强化学习、混合截断

所属期刊栏目：33

分类号：TP391.41(计算技术、计算机技术)

资助基金：西安市科技计划201805040YD18CG245

在线出版日期：2021-05-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：553-559