基于Tile Coding编码和模型学习的Actor-Critic算法

摘要：

Actor-Critic是一类具有较好性能及收敛保证的强化学习方法,然而,Agent在学习和改进策略的过程中并没有对环境的动态性进行学习,导致Actor-Critic方法的性能受到一定限制.此外,Actor-Critic方法中需要近似地表示策略以及值函数,其中状态和动作的编码方法以及参数对Actor-Critic方法有重要的影响.Tile Coding编码具有简单易用、计算时间复杂度较低等优点,因此,将Tile Coding编码与基于模型的Actor-Critic方法结合,并将所得算法应用于强化学习仿真实验.实验结果表明,所得算法具有较好的性能.

关键词：强化学习、Tile Coding、Actor-Critic、模型学习、函数逼近

所属期刊栏目：41

分类号：TP181(自动化基础理论)

资助基金：国家自然科学基金61070122,61373094,61070223,61103045;江苏省自然科学基金BK2009116;江苏省高校自然科学研究项目09KJA520002

在线出版日期：2014-07-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：239-242,249