适用于强化学习惯性环境的分数阶改进OU噪声

摘要：

本文将DDPG算法中使用的Ornstein-Uhlenbeck(OU)噪声整数阶微分模型推广为分数阶OU噪声模型,使得噪声的产生不仅和前一步的噪声有关而且和前K步产生的噪声都有关联.通过在gym惯性环境下对比基于分数阶OU噪声的DDPG和TD3算法和原始的DDPG和TD3算法,我们发现基于分数阶微积分的OU噪声相比于原始的OU噪声能在更大范围内震荡,使用分数阶OU噪声的算法在惯性环境下具有更好的探索能力,收敛得更快.

关键词：DDPG算法、TD3算法、分数阶微积分、OU噪声、强化学习

所属期刊栏目：60

分类号：TP39(计算技术、计算机技术)

资助基金：四川省科技计划2022YFQ0047

在线出版日期：2023-04-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：57-63