神威太湖之光加速计算在脑神经网络模拟中的应用

摘要：

脑神经网络模拟是脑科学研究和理论验证的重要方法.为提高脑模拟速度,异构加速已开始应用于脑模拟.然而现有异构加速脑模拟软件均存在明显的访存性能和计算精度问题.为此,本文基于神威太湖之光研发了脑模拟软件SWsnn,确保了随机访存多发生在高速缓存中.为避免主存访问的随机性,将频繁出现随机访存且数据量较小的神经元信息长时间停留在局部存储(LDM),同时将数据量很大的突触连接数据存储在主存,且尽可能连续访问主存.为避免可塑性导致的对突触连接的随机搜索,对脉冲时间依赖可塑性(STDP)算法采用需要前再更新的方法,以确保主存访问的连续性.为了提高脑模拟精度,设计环形缓冲和延迟传送联合应用方法,以支持高精度时间步长的脑模拟.在此基础上,对SWsnn进行向量化、访存隐藏等优化操作,计算性能进一步提高约50％.SWsnn 对104神经元全连接网络实现了生物实时模拟,比同等规模浮点计算能力GPU上运行的CARLsim快10倍左右.

关键词：脉冲神经网络(SNN)、脑模拟、SW26010、随机访存、环形缓冲、神威太湖之光

所属期刊栏目：43

分类号：TP391.9(计算技术、计算机技术)

资助基金：本课题得到科技部重点研发计划;国家自然科学基金;国家自然科学青年基金;深圳市基础研究项目;中国博士后科学基金;中国科学院重点实验室

在线出版日期：2020-07-02（万方平台首次上网日期，不代表论文的发表时间）

页数：共13页

页码：1025-1037