二值卷积神经网络综述

丁文锐刘春蕾李越张宝昌

北京航空航天大学;

摘要：

二值卷积神经网络(BNN)占用存储空间小、计算效率高,然而由于网络前向的二值量化与反向梯度的不匹配问题,使其与同结构的全精度深度卷积神经网络(CNN)之间存在较大的性能差距,影响了其在资源受限平台上的部署.至今,研究者已提出了一系列网络设计与训练方法来降低卷积神经网络在二值化过程中的性能损失,以推动二值卷积神经网络在嵌入式便携设备发展中的应用.因此,本文对二值卷积神经网络进行综述,主要从提高网络表达能力与充分挖掘网络训练潜力两大方面,给出了当前二值卷积神经网络的发展脉络与研究现状.具体而言,提高网络表达能力分为二值化量化方法设计、结构设计两方面,充分挖掘网络训练潜力分为损失函数设计与训练策略两方面.最…展开v

关键词：二值卷积神经网络、全精度卷积神经网络、二值化、量化、模型压缩、轻量化、深度学习

所属期刊栏目：42

分类号：V19;TP37(航空、航天的应用)

资助基金：国家自然科学基金;国家自然科学基金;国家重点研发计划

在线出版日期：2021-07-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共15页

页码：181-195