采用资格迹的神经网络学习控制算法

摘要：

强化学习是解决自适应问题的重要方法,被广泛地应用于连续状态下的学习控制,然而存在效率不高和收敛速度较慢的问题.在运用反向传播(back propagation,BP)神经网络基础上,结合资格迹方法提出一种算法,实现了强化学习过程的多步更新.解决了输出层的局部梯度向隐层节点的反向传播问题,从而实现了神经网络隐层权值的快速更新,并提供一个算法描述.提出了一种改进的残差法,在神经网络的训练过程中将各层权值进行线性优化加权,既获得了梯度下降法的学习速度又获得了残差梯度法的收敛性能,将其应用于神经网络隐层的权值更新,改善了值函数的收敛性能.通过一个倒立摆平衡系统仿真实验,对算法进行了验证和分析.结果显示,经过较短时间的学习,本方法能成功地控制倒立摆,显著提高了学习效率.

关键词：强化学习、神经网络、资格迹、倒立摆、梯度下降

所属期刊栏目：32

分类号：TP301(计算技术、计算机技术)

资助基金：国家自然科学基金项目61403205,61373027,60117089;曲阜师范大学实验室开放基金项目sk201415资助.Supported by National Natural Science Foundation of China61403205,61373027,60117089;Laboratory Open Foundation of Qufu Normal Universitysk201415

在线出版日期：2015-10-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：887-894