一种基于智能调度的可扩展并行强化学习方法

摘要：

针对强化学习在大状态空间或连续状态空间中存在的“维数灾”问题,提出一种基于智能调度的可扩展并行强化学习方法—IS-SRL,并从理论上进行分析,证明其收敛性.该方法采用分而治之策略对大状态空间进行分块,使得每个分块能够调入内存独立学习.在每个分块学习了一个周期之后交换到外存上,调入下一个分块继续学习.分块之间在换入换出的过程中交换信息,以使整个学习任务收敛到最优解.同时针对各分块之间的学习顺序会显著影响学习效率的问题,提出了一种新颖的智能调度算法,该算法利用强化学习值函数更新顺序的分布特点,基于多种调度策略加权优先级的思想,把学习集中在能产生最大效益的子问题空间,保障了IS-SRL方法的学习效率.在上述调度算法中融入并行调度框架,利用多Agent同时学习,得到了IS-SRL方法的并行版本—IS-SPRL方法.实验结果表明,IS-SPRL方法具有较快的收敛速度和较好的扩展性能.

关键词：强化学习、分而治之、并行计算、可扩展性、智能调度

所属期刊栏目：50

分类号：TP181(自动化基础理论)

资助基金：国家自然科学基金项目61070223,61103045,60970015,61272005;江苏省自然科学基金项目BK2009116;江苏省高校自然科学基金项目09KJA520002,09KJB520012;吉林大学符号计算与知识工程教育部重点实验室基金项目93K172012K04

在线出版日期：2013-05-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：843-851