基于线性动态跳帧的深度双Q网络

摘要：

深度Q网络模型在处理需要感知高维输入数据的决策控制任务中性能良好.然而,在深度Q网络及其改进算法中基本使用静态的跳帧方法,即动作被重复执行固定的次数.另外,优先级经验重放是对均匀采样的一种改进,然而目前各个研究仅将样本的时间差分误差作为评价优先级的标准.针对这两个问题,该文提出一种基于线性动态跳帧和改进的优先级经验重放的深度双Q网络.该算法使得跳帧率成为一个可动态学习的参数,跳帧率随网络输出Q值的大小线性增长,Agent将根据当前状态和动作来动态地确定一个动作被重复执行的次数,并利用经验池中样本的每个动作的跳帧率和样本的时间差分误差共同决定样本的优先级.最后在Atari 2600游戏中进行实验,结果表明该算法相比于传统动态跳帧和优先级经验重放算法具有更优的效果.

关键词：深度强化学习、深度Q网络、动态跳帧、优先级经验重放

所属期刊栏目：42

分类号：TP18(自动化基础理论)

资助基金：国家自然科学基金项目61472262,61502329,61772355,61876119;江苏省自然科学基金面上项目BK20181432;吉林大学符号计算与知识工程教育部重点实验室基金项目93K172014K04,93K172017K18;苏州市重点产业技术创新前瞻性应用研究项目SYG201807

在线出版日期：2019-12-04（万方平台首次上网日期，不代表论文的发表时间）

页数：共13页

页码：2561-2573