FAQ-CNN:面向量化卷积神经网络的嵌入式FPGA可扩展加速框架

摘要：

卷积神经网络(convolutional neural network,CNN)模型量化 可有效压缩模型尺寸 并提升CNN计算效率.然而,CNN模型量化算法的加速器设计,通常面临算法各异、代码模块复用性差、数据交换效率低、资源利用不充分等问题.对此,提出一种面向量化CNN的嵌入式FPGA加速框架FAQ-CNN,从计算、通信和存储3方面进行联合优化,FAQ-CNN以软件工具的形式支持快速部署量化CNN模型.首先,设计面向量化算法的组件,将量化算法自身的运算操作和数值映射过程进行分离;综合运用算子融合、双缓冲和流水线等优化技术,提升CNN推理任务内部的并行执行效率.然后,提出分级编码与位宽无关编码规则和并行解码方法,支持低位宽数据的高效批量传输和并行计算.最后,建立资源配置优化模型并转为整数非线性规划问题,在求解时采用启发式剪枝策略缩小设计空间规模.实验结果表明,FAQ-CNN能够高效灵活地实现各类量化CNN加速器.在激活值和权值为16b时,FAQ-CNN的加速器计算性能是Caffeine的1.4倍;在激活值和权值为8 b时,FAQ-CNN可获得高达1.23TOPS的优越性能.

关键词：卷积神经网络量化、量化算法解耦、并行编解码、片上资源建模、加速器设计

所属期刊栏目：59

分类号：TP391(计算技术、计算机技术)

资助基金：国家重点研发计划;国家自然科学基金;计算机体系结构国家重点实验室中国科学院计算技术研究所开放课题;天津市优秀科技特派员项目;福建省信息处理与智能控制重点实验室闽江学院开放基金项目;中国高校产学研创新基金

在线出版日期：2022-07-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共19页

页码：1409-1427