深度Q学习的二次主动采样方法

作者：赵英男; 刘鹏; 赵巍^*; 唐降龙

来源：自动化学报, 2019, 45(10): 1870-1882.

DOI：10.16383/j.aas.2018.c170635

• 优先经验回放
• TD-error
• 深度Q网络
• 累积回报

实现深度Q学习的一种方式是深度Q网络(Deep Q-networks, DQN).经验回放方法利用经验池中的样本训练深度Q网络,构造经验池需要智能体与环境进行大量交互,这样会增加成本和风险.一种减少智能体与环境交互次数的有效方式是高效利用样本.样本所在序列的累积回报对深度Q网络训练有影响.累积回报大的序列中的样本相对于累积回报小的序列中的样本更能加速深度Q网络的收敛速度,并提升策略的质量.本文提出深度Q学习的二次主动采样方法.首先,根据序列累积回报的分布构造优先级对经验池中的序列进行采样.然后,在已采样的序列中根据样本的TD-error (Temporal-difference error)分布构造优先级对样本采样.随后用两次采样得到的样本训练深度Q网络.该方法从序列累积回报和TD-error两个方面选择样本,以达到加速深度Q网络收敛,提升策略质量的目的.在Atari平台上进行了验证.实验结果表明,用经过二次主动采样得到的样本训练深度Q网络取得了良好的效果.

• 单位
  哈尔滨工业大学