结合领域经验的深度强化学习信号控制方法

作者：张萌; 王殿海; 金盛^*

来源：浙江大学学报(工学版), 2023, 57(12): 2524-2543.

• 交通信号控制
• 强化学习
• 深度强化学习
• 监督学习
• 预训练

针对深度强化学习信号控制方法存在训练不稳定、收敛慢以及相位频繁改变的问题，基于双决斗深度Q网络(3DQN)算法引入预训练模块和相位绿灯时间计算模块，提出结合领域经验的信号控制方法.通过优化双重Q学习损失、监督式边际分类损失和正则化损失，使预训练模块引导3DQN智能体模仿Max-Pressure方法的策略，以稳定并加快智能体的训练过程.相位绿灯时间计算模块基于平均车头时距和排队长度动态调整相位绿灯时间以减少绿灯损失.以杭州市萧山区机场城市大道和博奥路交叉口为例，在仿真平台SUMO上对所提方法进行验证.实验结果表明，所提方法能有效改进传统3DQN算法的训练速度.相比于传统控制方法，所提方法明显缩短了车辆平均旅行时间，提高了交叉口运行效率.

• 单位
  浙江大学; 建筑工程学院