科研之友
微信
新浪微博
Facebook
分享链接
摘要
为提高自动并道策略的综合性能，改进了双延迟深度确定性策略梯度算法(Twin delayed deep deterministic policy gradient,TD3)的Q值估计方法和奖励函数。通过马尔科夫决策过程，将车辆并道过程建模为强化学习问题，分析TD3强化学习算法中Q值低估对并道决策的影响。对TD3算法的双评论家目标网络执行蒙特卡洛随机失活，在获得两个Q值估计样本的基础上，提出基于样本方差加权平均的Q值估计方法，提高TD3算法的Q值估计精度。在优先保证完成并道任务的前提下，充分考虑车辆并道过程中的安全性、舒适性和交通效率，建立完备的奖励函数。基于改进的TD3算法和奖励函数，通过BARK模拟器开展自动驾驶汽车并道策略学习和测试。结果表明，提出的改进TD3算法显著提高了Q值估计精度。结合建立的奖励函数，在保证交通效率的同时提高了车辆并道的安全性和乘坐舒适性。
- 单位
