面向高能效加速器的二值化神经网络设计和训练方法

摘要：

针对二值化神经网络加速器计算溢出和乘法器依赖的问题,提出一套二值化神经网络设计及其训练方法.首先设计能够模拟溢出的矩阵乘法,保证模型部署后不丢失准确率;然后优化卷积层和激活函数,缓解溢出总量;再设计移位批标准化层,使二值化神经网络摆脱对乘法运算的依赖,并有效地降低访存;最后针对改进的模型提出基于溢出启发的协同训练框架,确保模型训练能够收敛.实验结果表明,与 10 个主流的关键词激活方法相比,在准确率无明显损失的情况下,所提方法使片上计算规模减少超过 49.1%,并为加速器带来至少 21.0%的速度提升.

关键词：二值化神经网络、深度学习、模型训练、神经网络加速器

所属期刊栏目：35

分类号：TP391.41(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金;国家自然科学基金;中国科学院战略性先导科技专项

在线出版日期：2023-08-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：961-969