基于规则约束的深度强化学习智能车辆高速路场景下行驶决策

作者：王新凯; 王树凤^*; 王世皓

来源：汽车技术, 2023, (09): 18-26.

DOI：10.19620/j.cnki.1000-3703.20220752

针对强化学习算法下智能车辆训练中动作选择过程随机性强、训练效率低等问题，提出了基于规则约束和深度Q网络（DQN）算法的智能车辆行驶决策框架，将引入的规则分为与换道相关的硬约束和与车道保持相关的软约束，分别通过动作检测模块（Action Detection Module）与奖励函数来实现。同时结合竞争深度Q网络（Dueling DQN）和双重深度Q网络（Double DQN）对DQN的网络结构进行改进，并引入N步自举（N-Step Bootstrapping）学习提高DQN的训练效率，最后在Highway-env平台高速路场景下与原始DQN算法进行综合对比验证模型的有效性，改进后的算法提高了智能车辆任务成功率和训练效率。

• 单位
  山东科技大学; 山东五征集团有限公司