基于Q学习的异构多智能体系统最优一致性

摘要：

对有领导者的异构离散多智能体系统的最优一致性问题,提出了一种无模型的基于非策略强化学习的控制协议设计方法.由于异构多智能体系统的状态矩阵不同,其局部邻居误差的动态表达式比较复杂.与现有的多智能体系统分布式控制方案相比,所提算法减少了计算的复杂性.首先,建立由增广变量构造的多智能体系统全局邻居误差动态表达式.其次,通过二次型形式的值函数得到耦合贝尔曼方程和Hamilton?Jacobi?Bellman(HJB)方程.再次,求解耦合HJB方程的最优解,得到多智能体最优一致性的纳什均衡解,并给出纳什均衡证明.从次,基于无模型的非策略Q学习算法,求解多智能体最优一致性的纳什均衡解.最后,利用批判神经网络结构,结合梯度下降法实现了所提出的算法,并通过仿真实例验证了算法的有效性.

关键词：多智能体系统、神经网络、强化学习、最优一致性

所属期刊栏目：42

分类号：TP13(自动化基础理论)

资助基金：国家自然科学基金;辽宁省重点领域联合开放基金项目;辽宁省教育厅基本科研项目;辽宁石油化工大学研究基金项目

在线出版日期：2022-10-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：59-67