期刊专题

10.11896/jsjkx.190700062

基于剪枝与量化的卷积神经网络压缩方法

引用
随着深度学习的发展,卷积神经网络作为其重要算法之一,被广泛应用到计算机视觉、自然语言处理及语音处理等各个领域,并取得了比传统算法更为优秀的成绩.但是,卷积神经网络结构复杂,参数量和计算量巨大,使得很多算法必须在GPU上实现,导致卷积神经网络难以应用在资源不足且实时性要求很高的移动端.为了解决上述问题,文中提出通过同时优化卷积神经网络的结构和参数来对卷积神经网络进行压缩,以使网络模型尺寸变小.首先,根据权重对网络模型结果的影响程度来对权重进行剪枝,保证在去除网络结构冗余信息的同时保留模型的重要连接;然后通过量化感知(quantization-aware-trai-ning)对卷积神经网络的浮点型权重和激活值进行完全量化,将浮点运算转换成定点运算,在降低网络模型计算量的同时减少网络模型的尺寸.文中选用tensorflow深度学习框架,在Ubuntu16.04操作系统中使用Spyder编译器对所提算法进行验证.实验结果表明,该算法使结构简单的LeNet模型从1.64M压缩至0.36M,压缩比达到78%,准确率只下降了了0.016;使轻量级网络Mobilenet模型从16.9M压缩至3.1M,压缩比达到81%,准确率下降0.03.实验数据说明,在对卷积神经网络权重剪枝与参数量化之后,该算法可以做到在准确率损失较小的情况下,对模型进行有效压缩,解决了卷积神经网络模型难以部署到移动端的问题.

卷积神经网络、权重剪枝、量化感知、参数量化、网络压缩

47

TP183(自动化基础理论)

2020-08-26(万方平台首次上网日期,不代表论文的发表时间)

共6页

261-266

暂无封面信息
查看本期封面目录

计算机科学

1002-137X

50-1075/TP

47

2020,47(8)

专业内容知识聚合服务平台

国家重点研发计划“现代服务业共性关键技术研发及应用示范”重点专项“4.8专业内容知识聚合服务技术研发与创新服务示范”

国家重点研发计划资助 课题编号:2019YFB1406304
National Key R&D Program of China Grant No. 2019YFB1406304

©天津万方数据有限公司 津ICP备20003920号-1

信息网络传播视听节目许可证 许可证号:0108284

网络出版服务许可证:(总)网出证(京)字096号

违法和不良信息举报电话:4000115888    举报邮箱:problem@wanfangdata.com.cn

举报专区:https://www.12377.cn/

客服邮箱:op@wanfangdata.com.cn