深度学习中的内存管理问题研究综述

摘要：

近年来,深度学习已经在多个领域取得了巨大的成功.深度神经网络向着更深更广的方向发展,训练和部署深度神经网络模型都将面对巨大的内存压力.加速设备有限的内存空间已经成为限制神经网络模型快速发展的重要因素,如何在深度学习中实现高效的内存管理成为深度学习发展的关键问题.为此,介绍了深度神经网络的基本特征;分析了深度学习训练过程中的内存瓶颈;对一些代表性的研究工作进行了分类阐述,并对其优缺点进行了分析;对深度学习中内存管理技术的未来发展趋势进行了探索.

关键词：内存管理、深度学习、内存交换、重计算、内存共享、压缩

所属期刊栏目：6

分类号：TP183(自动化基础理论)

资助基金：国家自然科学基金资助项目No. 61772218

在线出版日期：2020-07-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共13页

页码：56-68