基于SAC深度强化学习算法的充电枪寻孔策略研究

摘要：

针对机器人自动化充电任务中的寻孔操作,研究基于柔性行动者评价者(SAC)深度强化学习算法的机器人寻孔策略.设计一个基于actor-critic框架、以枪头位姿、接触力信息为输入、末端枪头坐标系XY平面动作为输出的策略控制器.该策略控制器共有5个神经网络,分别为actor网络、2个目标critic网络、2个critic网络;actor网络负责输出寻孔动作,目标critic网络负责输出下一寻孔状态下寻孔动作的价值评估,critic网络负责输出当前寻孔状态下寻孔动作的价值评估.基于double-Q trick方法使用2个目标critic网络输出价值中的较小值和2个critic网络输出价值中的较小值来分别更新critic网络和actor网络,以训练策略控制器.采用力位混合控制结构,将actor网络输出的XY平面位移动作转换成期望平动速度,与Z轴力跟踪导纳控制输出的期望速度合成机器人期望速度引导充电枪寻孔.仿真和实验验证了所提方法的有效性.

关键词：机器人寻孔、深度强化学习、柔性行动者评价者(SAC)算法、神经网络、力控制

所属期刊栏目：33

分类号：TP181;TP242;V249.1

资助基金：国家自然科学基金;国家自然科学基金

在线出版日期：2023-04-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：63-71