基于随机加权三重Q学习的异策略最大熵强化学习算法

摘要：

强化学习是机器学习中一个重要的分支,随着深度学习的发展,深度强化学习逐渐发展为强化学习研究的重点.因应用广泛且实用性较强,面向连续控制问题的无模型异策略深度强化学习算法备受关注.同基于离散动作的Q学习一样,类行动者-评论家算法会受到动作值高估问题的影响.在类行动者-评论家算法的学习过程中,剪切双Q学习可以在一定程度上解决动作值高估的问题,但同时也引入了一定程度的低估问题.为了进一步解决类行动者-评论家算法中的高低估问题,提出了一种新的随机加权三重Q学习方法.该方法可以更好地解决类行动者-评论家算法中的高低估问题.此外,将这种新的方法与软行动者-评论家算法结合,提出了一种新的基于随机加权三重Q学习的软行动者-评论家算法,该算法在限制Q估计值在真实Q值附近的同时,通过随机加权方法增加Q估计值的随机性,从而有效解决了学习过程中对动作值的高低估问题.实验结果表明,相比SAC算法、DDPG算法、PPO算法与TD3算法等深度强化学习算法,SAC-RWTQ算法可以在gym仿真平台中的多个Mujoco任务上获得更好的表现.

关键词：Q学习、深度学习、异策略强化学习、连续动作空间、最大熵、软行动者-评论家算法

所属期刊栏目：49

分类号：TP181(自动化基础理论)

资助基金：国家自然科学基金;国家自然科学基金;国家自然科学基金;国家自然科学基金;江苏省高等学校自然科学研究重大项目;江苏省高等学校自然科学研究重大项目;吉林大学符号计算与知识工程教育部重点实验室资助项目;吉林大学符号计算与知识工程教育部重点实验室资助项目;苏州市应用基础研究计划;江苏省高校优势学科建设工程资助项目

在线出版日期：2022-06-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：335-341