深度神经网络Softmax函数定点算法设计

摘要：

由于Softmax函数涉及高精度自然指数和浮点除法计算,深度神经网络推理计算占用大量硬件资源,导致神经网络部署难题.本文提出一种浮点数量化和定点计算方法,只用定点加法、移位操作即可实现精度高的Softmax函数值计算,满足高效推理需求.借助本文算法深度神经网络将易于部署到各种定点硬件平台,减少硬件资源占用,对神经网络部署应用启到促进作用.

关键词：深度神经网络、Softmax函数、激活函数、定点、量化

所属期刊栏目：31

分类号：TP301.6;TN925.93;TP277

资助基金：基于动态可重构的多模态智能处理器关键技术U19B2041

在线出版日期：2022-08-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：60-64