一种基于特特征向量提取的FMDP模型求解方法

摘要：

在诸如机器人足球赛等典型的可分解马尔可夫决策过程(factored Markov decision process,简称FMDP)模型中,不同状态属性在不同的状态下,对于状态评估的影响程度是不同的,其中存在若干关键状态属性,能够唯一或近似判断当前状态的好坏.为了解决FMDP模型中普遍存在的"维数灾"问题,在效用函数非线性的情况下,通过对状态特征向量的提取近似状态效用函数,同时根据对FMDP模型的认知程度,从线性规划和再励学习两种求解角度分别进行约束不等式组的化简和状态效用函数的高维移植,从而达到降低计算复杂度,加快联合策略生成速度的目的.以机器人足球赛任意球战术配合为背景进行实验来验证基于状态特征向量的再励学习算法的有效性和学习结果的可移植性.与传统再励学习算法相比,基于状态特征向量的再励学习算法能够极大地加快策略的学习速度.但更重要的是,还可以将学习到的状态效用函数方便地移植到更高维的FMDP模型中,从而直接计算出联合策略而不需要重新进行学习.

关键词：群体Agent合作求解、可分解马尔可夫决策过程、线性规划、再励学习、维数灾

所属期刊栏目：16

分类号：TP18(自动化基础理论)

资助基金：国家自然科学基金60173011;国家高技术研究发展计划863计划863-317-01-04-99,2001AA113120

在线出版日期：2005-07-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：733-743