考虑博弈的多智能体强化学习分布式信号控制

作者：曲昭伟; 潘昭天; 陈永恒^*; 李海涛; 王鑫

来源：交通运输系统工程与信息, 2020, 20(02): 76-100.

DOI：10.16097/j.cnki.1009-6744.2020.02.012

• 智能交通
• 分布式交通信号控制
• 多智能体强化学习
• 不均衡需求下的城市道路网络
• 博弈论
• 数值模拟

交通需求的不均衡和波动会增加分布式信号控制优化的难度.由于现有独立动作的多智能体强化学习(IA-MARL)仅基于自身的历史经验做出决策,基于IA-MARL的分布式信号控制难以及时缓解交通需求不均衡和波动的影响.本文融入博弈论的混合策略纳什均衡概念,改进IA-MARL的决策过程,提出考虑博弈的多智能体强化学习(G-MARL)框架.在采用带有泊松到达率的道路网络流量不均衡输入的格子网络中,分别对基于IA-MARL和GMARL的分布式控制方法进行数值模拟,获取单位行程时间和单位车均延误曲线.结果显示,与IA-MARL相比,G-MARL在单位行程时间和单位车均延误方面分别改善59.94%和81.45%.证明G-MARL适用于不饱和且交通需求不均衡和波动的分布式信号控制.

• 单位
  吉林大学