基于残差梯度法的神经网络Q学习算法

摘要：

针对连续状态空间的非线性系统控制问题,提出一种基于残差梯度法的神经网络Q学习算法.该算法采用多层前馈神经网络逼近Q值函数,同时利用残差梯度法更新神经网络参数以保证收敛性.引入经验回放机制实现神经网络参数的小批量梯度更新,有效减少迭代次数,加快学习速度.为了进一步提高训练过程的稳定性,引入动量优化.此外,采用Softplus函数代替一般的ReLU激活函数,避免了ReLU函数在负数区域值恒为零所导致的某些神经元可能永远无法被激活,相应的权重参数可能永远无法被更新的问题.通过CartPole控制任务的仿真实验,验证了所提算法的正确性和有效性.

关键词：Q学习、神经网络、值函数近似、残差梯度法、经验回放

所属期刊栏目：56

分类号：TP18(自动化基础理论)

资助基金：国家自然科学基金No.U1504610

在线出版日期：2020-09-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：137-142