结构交互驱动的机器人深度强化学习控制方法

摘要：

针对深度强化学习在高维机器人行为控制中训练效率低下和策略不可解释等问题,提出一种基于结构交互驱动的机器人深度强化学习方法(structure-motivated interactive deep reinforcement learning,SMILE).首先,利用结构分解方法将高维的单机器人控制问题转化为低维的多关节控制器协同学习问题,从而缓解连续运动控制的维度灾难难题;其次,通过两种协同图模型(ATTENTION 和 PODT)动态推理控制器之间的关联关系,实现机器人内部关节的信息交互和协同学习;最后,为了平衡 ATTENTION 和 PODT 协同图模型的计算复杂度和信息冗余度,进一步提出两种协同图模型更新方法APDODT和PATTENTION,实现控制器之间长期关联关系和短期关联关系的动态自适应调整.实验结果表明,基于结构驱动的机器人强化学习方法能显著提升机器人控制策略学习效率.此外,基于协同图模型的关系推理及协同机制,可为最终学习策略提供更为直观和有效的解释.

关键词：机器人控制、深度强化学习、结构分解、可解释性

所属期刊栏目：34

分类号：TP18(自动化基础理论)

资助基金：国家自然科学基金;国家自然科学基金;腾讯犀牛鸟基金

在线出版日期：2023-04-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共16页

页码：1749-1764