基于时间误差的循环神经网络参数压缩

摘要：

循环神经网络被广泛应用于各种序列数据处理任务中,如机器翻译、语音识别、图像标注等.基于循环神经网络的语言模型通常包含大量的参数,这一点在一定程度上限制了模型在移动设备或嵌入式设备上的使用.在低秩重构压缩的基础上,增加时间误差重构函数,并采用长短时记忆网络中的输入激活机制,提出了一种基于时间误差的低秩重构压缩方法.多个数据集上的数值实验表明,该方法具有较好的压缩效果.

关键词：循环神经网络、长短时记忆网络、低秩重构压缩、基于时间误差的低秩重构压缩

所属期刊栏目：56

分类号：TP183(自动化基础理论)

资助基金：国家自然科学基金No.61601417

在线出版日期：2020-04-01（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：134-138