基于相对熵的元逆强化学习方法

摘要：

针对传统逆强化学习算法在缺少足够专家演示样本以及状态转移概率未知的情况下,求解奖赏函数速度慢、精度低甚至无法求解的问题,提出一种基于相对熵的元逆强化学习方法.利用元学习方法,结合与目标任务同分布的一组元训练集,构建目标任务学习先验,在无模型强化学习问题中,采用相对熵概率模型对奖赏函数进行建模,并结合所构建的先验,实现利用目标任务少量样本快速求解目标任务奖赏函数的目的.将所提算法与REIRL算法应用于经典的Gridworld和Obj ect World问题,实验表明,在目标任务缺少足够数目的专家演示样本和状态转移概率信息的情况下,所提算法仍能较好地求解奖赏函数.

关键词：逆强化学习;元学习;奖赏函数;相对熵;梯度下降

所属期刊栏目：48

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金项目;江苏省重点研发计划项目

在线出版日期：2021-09-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：257-263