基于深度强化学习与扩展卡尔曼滤波相结合的交通信号灯配时方法研究

作者：吴兰; 吴元明; 孔凡士; 李斌全

来源：北京航空航天大学学报, 2021, 1-16.

DOI：10.13700/j.bh.1001-5965.2021.0529

• 深度Q学习网络
• 感知能力
• 决策能力
• 交通信号灯配时系统
• 参数不确定性
• 扩展卡尔曼滤波

DQN（Deep Q-learning network，深度Q学习网络）因其具有强大的感知能力和决策能力而成为解决交通信号灯配时问题的有效方法。然而由于外部环境扰动和内部参数波动等原因导致的参数不确定性问题，限制了其在交通信号灯配时系统领域的进一步发展。基于此，提出了一种DQN与EKF（Extended Kalman Filter，扩展卡尔曼滤波）相结合（DQN-EKF）的交通信号灯配时方法。该方法以估计网络的不确定性参数值作为状态变量，包含不确定性参数的目标网络值作为观测变量，结合过程噪声、包含不确定性参数的估计网络值和系统观测噪声构造EKF系统方程，通过EKF的迭代更新求解，得到DQN模型中的参数最优估计值，以解决DQN模型中的参数不确定性问题。实验结果表明，DQN-EKF配时算法适用于不同的交通环境并能够有效提高车辆的通行效率。

• 单位
  河南工业大学; 郑州铁路职业技术学院