面向无人驾驶时空同步约束制导的安全强化学习

摘要：

无人驾驶系统综合了软件和硬件复杂的交互过程,在系统设计阶段,形式化方法可以保证系统满足逻辑规约和安全需求;在系统运行阶段,深度强化学习被广泛应用于无人驾驶系统决策中.然而,在面对没有经验的场景和复杂决策任务时,基于黑盒的深度强化学习系统并不能保证系统的安全性和复杂任务奖励函数设置的可解释性.为此提出了一种形式化时空同步约束制导的安全强化学习方法.首先,提出了一种形式化时空同步约束规约语言,接近自然语言的安全需求规约使奖励函数的设置更具有解释性.其次,展示了时空同步自动机和状态-动作空间迁移系统,保证强化学习的状态行为策略更加安全.然后,提出了结合形式化时空约束制导的安全强化学习方法.最后,通过无人驾驶汽车在高速场景变道超车的案例,验证所提方法的有效性.

关键词：时空同步约束;形式化规约;安全强化学习;时序差分;智能交通仿真;无人驾驶安全

所属期刊栏目：58

分类号：TP181(自动化基础理论)

资助基金：国家重点研发计划;国家自然科学基金;国家自然科学基金

在线出版日期：2022-01-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共19页

页码：2585-2603