基于状态估计的值分解方法

摘要：

值分解方法是一种流行的解决合作多智能体深度强化学习问题的方法,其核心是基于IGM(Individual-Global-Max)原则将联合值函数表示为个体值函数的某种组合.该方法中,智能体仅根据基于局部观察的个体值函数选择动作,这导致智能体无法有效地利用全局状态信息学习策略.尽管许多值分解算法已经采用了注意力机制、超网络等手段来提取全局状态的特征以加权个体值函数,从而间接地利用全局信息来指导智能体训练,但这种利用非常有限.在复杂环境中,智能体仍旧难以学到有效策略,学习效率较差.为提高智能体策略学习能力,提出了 一种基于状态估计的多智能体深度强化学习值分解方法—SE-VF(Value Factorization based on State Estimation),该方法引入状态估计网络来提取全局状态的特征并得到评估全局状态优劣的状态值,然后将状态损失值作为损失函数的一部分来更新智能体网络的参数,从而优化智能体的策略选择过程.实验结果表明,在星际争霸2微观管理任务测试平台的多个场景中,SE-VF的表现比QMIX等基线更好.

关键词：状态估计、值分解、多智能体强化学习、深度强化学习

所属期刊栏目：50

分类号：TP181(自动化基础理论)

在线出版日期：2023-08-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：202-208