基于重抽样优选缓存经验回放机制的深度强化学习方法

作者：陈希亮; 曹雷; 李晨溪; 徐志雄; 何明

来源：控制与决策, 2018, 33(04): 600-606.

DOI：10.13195/j.kzyjc.2017.0261

• 深度强化学习
• 缓存回放
• 重抽样

针对深度强化学习算法中经验缓存机制构建问题,提出一种基于TD误差的重抽样优选缓存机制;针对该机制存在的训练集坍塌现象,提出基于排行的分层抽样算法进行改进,并结合该机制对已有的几种典型基于DQN的深度强化学习算法进行改进.通过对Open AI Gym平台上Cart Port学习控制问题的仿真实验对比分析表明,优选机制能够提升训练样本的质量,实现对值函数的有效逼近,具有良好的学习效率和泛化性能,收敛速度和训练性能均有明显提升.

• 单位
  解放军理工大学