强化学习算法在高速铁路运营调度中的应用

作者：吴越; 袁志明; 代学武; 崔东亮; 程丽娟; 岳鹏

来源：铁路计算机应用, 2022, 31(07): 92-98.

• 高速铁路
• 调度算法
• 股道运用计划
• 资格迹
• Q(λ)学习

随着我国高速铁路（简称：高铁）通达范围和行车密度的不断提高，运行计划调整日趋复杂，利用计算机和人工智能等技术手段辅助调度员制定阶段调整计划是高铁智能调度的发展趋势。高铁运行计划调整问题是一个多阶段决策问题，具有决策链长、规模大、约束多等特点，导致传统的强化学习方法 Q学习算法的学习效率低、收敛缓慢。文章提出一种基于Q(λ)学习的高铁运行计划智能调整算法，采用累积式资格迹设计多步奖励更新机制，有效解决稀疏奖励下收敛慢的问题，目标函数设计中充分考虑了股道运用计划，更适合反应行车密度增大时到发线的使用情况。仿真实验表明，Q(λ)学习算法在学习效率、收敛速度和收敛结果上均优于传统的Q学习算法。

• 单位
  中国铁道科学研究院集团有限公司; 流程工业综合自动化国家重点实验室; 东北大学