基于动态延迟策略更新的TD3算法

作者：康朝海; 孙超; 荣垂霆; 刘鹏云

来源：吉林大学学报(信息科学版), 2020, 38(04): 474-481.

DOI：10.19292/j.cnki.jdxxp.2020.04.014

• 深度强化学习
• TD3算法
• 动态延迟策略更新

在深度强化学习领域中,为进一步减少双延迟深度确定性策略梯度TD3(Twin Delayed Deep Deterministic Policy Gradients)中价值过估计对策略估计的影响,加快模型学习的效率,提出一种基于动态延迟策略更新的双延迟深度确定性策略梯度(DD-TD3:Twin Delayed Deep Deterministic Policy Gradients with Dynamic Delayed Policy Update)。在DD-TD3方法中,通过Critic网络的最新Loss值与其指数加权移动平均值的动态差异指导Actor网络的延迟更新步长。实验结果表明,与原始TD3算法在2 000步获得较高的奖励值相比,DD-TD3方法可在约1 000步内学习到最优控制策略,并且获得更高的奖励值,从而提高寻找最优策略的效率。

• 单位
  东北石油大学