城轨列车深度强化学习节能优化控制方法

作者：郭啸; 孟建军^*; 陈晓强; 胥如迅; 李德仓; 宋明瑞

来源：铁道标准设计, 2023, 1-9.

DOI：10.13238/j.issn.1004-2954.202211110006

• 城市轨道交通
• 列车自动驾驶
• 时间规划系统
• 节能运行
• 深度强化学习
• DQN算法

为提高城轨列车自动驾驶（automatic train operation ， ATO）的控制性能，针对城轨ATO目标速度曲线追踪控制方法中工况切换频繁、牵引能耗高等问题，以列车准点、精准停车和能耗为优化目标，设计了一种以时间冗余(time redundancy， TR)规划参考系统为主动约束的列车深度强化学习DQN控制方法。建立了城轨列车动力学模型和多目标优化适应度函数；定义了TR规划参考系统约束下的DQN列车控制器，并对控制器中的动作空间和奖励函数进行设置；最后规定了列车控制器神经网络更新方法，利用随机梯度下降算法更新Q网络参数。结果表明：加入以TR时间规划参考系统为约束的TR-DQN算法提高了DQN迭代收敛速度以及迭代训练过程中的稳定性；TR-DQN动态调整列车运行策略的控制方法相比传统目标速度曲线追踪PID算法能耗降低12.32%，列车站间工况切换频率较低；针对设置的3种不同站间规划时间，列车牵引能耗依次降低7.5%和6.4%，列车站间工况动态切换频率和牵引能耗随行程规划时间增大而降低。

• 单位
  兰州交通大学; 机电工程学院