基于持续强化学习的自动驾驶赛车决策算法研究

摘要：

赛道形状与路面材质变化对自动驾驶赛车的行为决策带来了严峻挑战.为应对道路间的动力学差异,本文提出一种基于持续强化学习(CRL)的高速赛车决策算法.该算法将不同道路看作独立任务.算法的第1 训练阶段负责提取描述不同任务上赛车动力学的低维特征,从而计算出任务间的相似性关系.算法的第2 训练阶段负责为策略学习过程提供2 个持续强化学习约束:其一是权重正则化约束,策略网络中对于旧任务重要的权重将在新任务学习期间被限制更新,其限制力度由任务相似性自适应调节;其二是奖励函数约束,鼓励在新任务学习期间策略的旧任务性能不下降.设计不同任务排序下的赛车实验和持续强化学习评价指标以评估算法性能.实验结果表明,所提算法能在既不存储旧任务数据也不扩展策略网络的条件下获得比基准方法更出色的驾驶性能.

关键词：强化学习(RL)、持续学习、行为决策、自动驾驶赛车、动力学特征提取

所属期刊栏目：34

分类号：TP391.41;G420;G808.1

资助基金：国家自然科学基金;国家自然科学基金;中国科学院计算技术研究所计算机体系结构国家重点实验室创新项目;中国科学院计算技术研究所计算机体系结构国家重点实验室创新项目

在线出版日期：2024-02-02（万方平台首次上网日期，不代表论文的发表时间）

页数：共14页

页码：1-14