一种基于权值缩减克服IR-Drop的忆阻器阵列神经网络训练方法

摘要：

忆阻器阵列(Memristor-Based Crossbar)能够有效地加速神经网络中的矩阵运算.然而,忆阻器阵列会受到IR-Drop的影响,降低到达忆阻器的计算电压,导致计算精度下降.为减轻IR-Drop对忆阻器阵列计算精度的影响,提出了一种基于权值缩减的神经网络训练方法.首先,在网络训练中添加L2正则化,使训练后的神经网络权值尽可能分布在较小值范围,以此提高计算精度对IR-Drop的鲁棒性.然后,利用基于行列约束的映射算法将大权值映射到受IR-Drop影响小的忆阻器上,减小忆阻器阵列精度损失.最后,迭代减小受到IR-Drop影响大的大权值,再通过重训练调整被减小值的附近权值,提升忆阻器阵列的计算精度.实验结果表明,所提方法能够有效地提高忆阻器阵列的计算精度,最多可以将忆阻器阵列计算精度提升至接近理想状态,精度损失小于1％.

关键词：忆阻器阵列、神经网络训练、IR-Drop、映射算法

所属期刊栏目：13

分类号：TP389.1(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金

在线出版日期：2023-04-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：51-57,63