一种基于非负绞杀的循环神经网络变量选择与结构优化算法

摘要：

神经网络是一种利用大量简单结构表达复杂函数的新型建模方法,近年来得到了深入研究和广泛应用.循环神经网络(Recurrent neural network,RNN)因其记忆功能这一特性,被广泛应用于语音识别、机器翻译等领域.然而,实际生产过程建模存在变量多、非线性高、动态性强等难题,且现有的RNN算法难以取得较高的预测精度.目前,对于RNN的优化多集中于输入层的变量选择,较少考虑网络结构中隐含层的优化问题.本文提出一种面向循环神经网络的输入变量选择及结构优化算法,采用非负绞杀(Nonnegative Garrote,NNG)算法对RNN的输入层与隐含层反馈的初始权值进行同步压缩,进而构建泛化能力更强的RNN网络模型.基于增加时滞特性的Friedman数据集对提出算法进行性能检验,并与其他经典的神经网络建模算法进行比较.仿真结果表明,所提算法能有效克服静态神经网络无法提取时序信息的缺点,且能精确选择相关变量,简化RNN模型结构,从而提高动态模型泛化能力.

关键词：神经网络;RNN;变量选择;结构优化;非线性建模;时序信息

所属期刊栏目：35

分类号：N945(系统科学)

资助基金：国家自然科学基金;山东省重点研发计划

在线出版日期：2021-11-02（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：60-67