深度学习模型压缩与加速综述

摘要：

随着训练可用数据量的增长与计算平台处理能力的增强,基于深度学习的智能模型能够完成越来越复杂的任务,其在计算机视觉、自然语言处理等人工智能领域已经取得重大的突破.然而,这些深度模型具有庞大的参数规模,与此相伴的可畏的计算开销与内存需求使其在计算能力受限平台(例如移动嵌入式设备)的部署中遇到了巨大的困难与挑战.因此,如何在不影响深度学习模型性能的情况下进行模型压缩与加速成为研究热点.首先对国内外学者提出的经典深度学习模型压缩与加速方法进行分析,从参数剪枝、参数量化.紧凑网络、知识蒸馏、低秩分解、参数共享和混合方式这7个方面分类总结;其次,总结对比几种主流技术的代表性方法在多个公开模型上的压缩与加速效果;最后,对于模型压缩与加速领域的未来研究方向加以展望.

关键词：深度学习、模型压缩、模型加速、参数剪枝、参数量化、紧凑网络

所属期刊栏目：32

分类号：TP181(自动化基础理论)

资助基金：国家自然科学基金;江苏省"双创计划";江苏省"六大人才高峰"高层次人才项目B类;蚂蚁金服科研基金;中央高校基本科研业务费专项资金

在线出版日期：2021-02-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共25页

页码：68-92