一种基于动态量化编码的深度神经网络压缩方法

摘要：

近年来深度神经网络(Deep neural network,DNN)从众多机器学习方法中脱颖而出,引起了广泛的兴趣和关注.然而,在主流的深度神经网络模型中,其参数数以百万计,需要消耗大量的计算和存储资源,难以应用于手机等移动嵌入式设备.为了解决这一问题,本文提出了一种基于动态量化编码(Dynamic quantization coding,DQC)的深度神经网络压缩方法.不同于现有的采用静态量化编码(Static quantitative coding,SQC)的方法,本文提出的方法在模型训练过程中同时对量化码本进行更新,使码本尽可能减小较大权重参数量化引起的误差.通过大量的对比实验表明,本文提出的方法优于现有基于静态编码的模型压缩方法.

关键词：深度神经网络、模型压缩、动态量化编码、码本更新

所属期刊栏目：45

资助基金：国家重点研发计划2018YFB1004504;中央高校基本业务费CCNU19Z02002;中国博士后科学基金2018M632889;湖北省自然科学基金2017CFB504;湖北省创新研究团队2017CFA007;国家自然科学基金61702208, 61807014 资助

在线出版日期：2019-11-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：1960-1968