深度神经网络并行化研究综述

朱虎明李佩焦李成杨淑媛侯彪

西安电子科技大学;

摘要：

神经网络是人工智能领域的核心研究内容之一.在七十年的发展历史中,神经网络经历了从浅层神经网络到深度神经网络的重要变革.深度神经网络通过增加模型深度来提高其特征提取和数据拟合的能力,在自然语言处理、自动驾驶、图像分析等问题上相较浅层模型具有显著优势.随着训练数据规模的增加和模型的日趋复杂,深度神经网络的训练成本越来越高,并行化成为增强其应用时效性的重要技术手段.近年来计算平台的硬件架构更新迭代,计算能力飞速提高,特别是多核众核以及分布式异构计算平台发展迅速,为深度神经网络的并行化提供了硬件基础;另一方面,日趋丰富的并行编程框架也为计算设备和深度神经网络的并行化架起了桥梁.该文首先介绍了深度神经网络发展背…展开v

关键词：深度神经网络、并行计算、异构计算、模型并行、数据并行

所属期刊栏目：41

分类号：TP18(自动化基础理论)

资助基金：国家自然科学基金61303032;国家“九七三”重点基础研究发展计划项目基金2013CB329402;国家自然科学基金重大研究计划91438201,91438103;教育部“长江学者和创新团队发展计划”IRT_15R53

在线出版日期：2018-09-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共21页

页码：1861-1881