基于深度确定性策略梯度的队列纵向协同控制策略

作者：闵海根; 杨一鸣; 王武祺; 方煜坤; 宋晓鹏

来源：长安大学学报(自然科学版), 2021, 41(04): 90-100.

DOI：10.19721/j.cnki.1671-8879.2021.04.009

• 交通工程
• 深度强化学习
• 队列纵向控制
• 深度确定性策略梯度
• 队列稳定性

为了解决车辆队列控制中的车辆连续精确控制问题和行驶过程中车辆队列纵向稳定性问题,提出了一种在中等速度环境下基于深度强化学习(deep reinforcement learning, DRL)的车辆队列纵向控制策略。该策略充分考虑了影响队列安全的车辆距离、车辆速度和车辆加速度3个关键影响因素,并将车辆动力学和舒适性作为策略学习过程中的约束条件。首先,建立基于强化学习的车辆队列纵向控制模型。其次,提出一个深度强化学习过程来进行队列纵向控制策略的迭代,最终目标为获得车辆的最优控制策略;并且设计了一个多目标的奖励函数,该函数综合了距离误差、速度误差和加速度约束对应的奖励。最后,采用深度确定性策略梯度(deep deterministic policy gradient, DDPG)求解队列纵向控制问题,该算法将动作-评价(actor-critic, AC)网络的优点与深度Q网络(deep Q-network, DQN)的优点相结合,有效解决连续状态空间和连续动作空间上的车辆队列控制问题;并设计和训练了基于DDPG的队列控制模型用于队列纵向控制,验证该控制策略的有效性。结果表明:提出的基于强化学习的队列控制方法具有和分布式模型预测控制算法相当的控制精度,并能在"前车-领航车跟随"通信拓扑下实现队列的串稳定性。

• 单位
  浙江省交通规划设计研究院有限公司; 长安大学