基于CMAC的非参数化近似策略迭代增强学习

摘要：

为解决在线近似策略迭代增强学习计算复杂度高、收敛速度慢的问题,引入CMAC结构作为值函数逼近器,提出一种基于CMAC的非参数化近似策略迭代增强学习(NPAPI-CMAC)算法.算法通过构建样本采集过程确定CMAC泛化参数,利用初始划分和拓展划分确定CMAC状态划分方式,利用量化编码结构构建样本数集合定义增强学习率,实现了增强学习结构和参数的完全自动构建.此外,该算法利用delta规则和最近邻思想在学习过程中自适应调整增强学习参数,利用贪心策略对动作投票器得到的结果进行选择.一级倒立摆平衡控制的仿真实验结果验证了算法的有效性、鲁棒性和快速收敛能力.

关键词：增强学习、小脑关节模型控制器、非参数化、倒立摆

所属期刊栏目：55

分类号：TP181(自动化基础理论)

资助基金：国家高技术研究发展计划863SS2013AA041003

在线出版日期：2019-10-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：128-136