一种状态自动划分的模糊小脑模型关节控制器值函数拟合方法

摘要：

在庞大离散状态空间或连续状态空间中,强化学习(RL)需要进行值函数拟合以寻找最优策略.但函数拟合器的结构往往由设计者预先设定,在学习过程中不能动态调整缺乏自适应性.为了自动构建函数拟合器的结构,提出一种可以进行状态自动划分的模糊小脑模型关节控制(FCMAC)值函数拟合方法.该方法利用Bellman误差的变化趋势实现状态自动划分,并且探讨了两种选择划分区域的机制.汽车爬坡问题和机器人足球仿真平台中的实验结果表明新算法能有效拟合值函数,而且利用所提出的函数拟合器智能体可以进行有效的强化学习.

关键词：强化学习、值函数、状态自动划分、模糊小脑关节模型控制器

所属期刊栏目：28

分类号：TP181(自动化基础理论)

资助基金：国家自然科学基金资助项目61005061;广东省科技计划资助项目2009A040300008;广州市科技计划资助项目2009KP008;广东省科技计划资助项目2010B010600016

在线出版日期：2011-06-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：256-260