基于离线强化学习的交叉口生态驾驶控制

摘要：

针对传统强化学习算法在现实场景下训练难以实现的问题,提出一种基于离线强化学习的自适应车辆交叉口生态驾驶控制策略.首先,将车辆油耗与行驶距离作为复合奖励函数的一部分,构造了V2 I(vehicle-to-infrastructure)下的车辆交叉口马尔可夫决策过程.通过在SUMO仿真软件中利用GLOSA系统收集少量训练数据,基于BCQ(batch-constrained deep Q-learning)算法进行离线训练,解决了离线数据与真实场景下分布偏移的问题.将模型部署在仿真环境,实验结果表明,在单交叉口与多交叉口情景,几乎不牺牲车辆机动性的前提下,能耗经济性可以分别提升25.14％和11.49％.此外,对不同V2I通信距离进行分析,发现随着通信距离的增加,算法控制效果与稳定性均有所提升,为工程实践提供了借鉴.

关键词：智能交通系统、信号交叉口、生态驾驶、离线强化学习

所属期刊栏目：52

分类号：U491.4(交通工程与公路运输技术管理)

资助基金：国家重点研发计划;江苏省重点研发计划资助项目;工业和信息化部公共服务平台建设资助项目

在线出版日期：2022-09-01（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：762-769