一种近似模型表示的启发式Dyna优化算法
针对基于查询表的Dy na优化算法在大规模状态空间中收敛速度慢、环境模型难以表征以及对变化环境的学习滞后性等问题，提出一种新的基于近似模型表示的启发式Dyna优化算法（a heuristic Dyna optimization algorithm using approximate model representation ，HDyna‐AMR），其利用线性函数近似逼近Q值函数，采用梯度下降方法求解最优值函数．HDyna‐AM R算法可以分为学习阶段和规划阶段．在学习阶段，利用agent与环境的交互样本近似表示环境模型并记录特征出现频率；在规划阶段，基于近似环境模型进行值函数的规划学习，并根据模型逼近过程中记录的特征出现频率设定额外奖赏．从理论的角度证明了 HDyna‐AMR的收敛性．将算法用于扩展的Boyan chain问题和Mountain car问题．实验结果表明，HDyna‐AM R在离散状态空间和连续状态空间问题中能学习到最优策略，同时与Dyna‐LAPS（Dyna‐style planning with linear approximation and prioritized sweeping ）和Sarsa（λ）相比， HDyna‐AM R具有收敛速度快以及对变化环境的近似模型修正及时的优点．
强化学习、模型学习、规划、函数逼近、机器学习
TP181(自动化基础理论)
国家自然科学基金项目61272005，61303108，61373094，61472262，61502323，61502329；江苏省自然科学基金项目BK2012616；江苏省高校自然科学研究项目13KJB520020；吉林大学符号计算与知识工程教育部重点实验室基金项目93K172014K04；苏州市应用基础研究计划项目SYG201422
2016-03-18（万方平台首次上网日期，不代表论文的发表时间）
共12页
2764-2775
