基于路径匹配的在线分层强化学习方法

摘要：

如何在线找到正确的子目标是基于option的分层强化学习的关键问题.通过分析学习主体在子目标处的动作,发现了子目标的有效动作受限的特性,进而将寻找子目标的问题转化为寻找路径中最匹配的动作受限状态.针对网格学习环境,提出了单向值方法表示子目标的有效动作受限特性和基于此方法的option自动发现算法.实验表明,基于单向值方法产生的option能够显著加快Q学习算法,也进一步分析了option产生的时机和大小对Q学习算法性能的影响.

关键词：强化学习、分层强化学习、option、子目标、路径匹配

所属期刊栏目：45

分类号：TP18(自动化基础理论)

资助基金：国家自然科学基金项目60402011,90604017,60675010;国家"十一五"科技支撑计划基金项目2006BAH03B05

在线出版日期：2008-11-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：1470-1476