摘要
经验回放策略已经成为深度强化学习算法的一个重要组成部分,它不仅可以加速深度强化学习算法收敛,而且还能加强智能体的表现。主流的经验回放策略使用均匀抽样、优先经验回放、专家经验回放等方法加速学习。为了进一步提高深度强化学习中经验样本的利用率,本文提出一种基于混合样本的经验回放策略(ER-MS)。该策略主要使用立即学习最新经验和复习成功经验2种方法,对智能体与环境交互产生的最新样本进行立即学习,同时使用额外的经验缓存池保存成功回合样本进行经验回放。实验表明,基于混合样本的经验回放策略结合DDPG算法能够在OpenAI mujoco任务中取得更优成绩。
- 单位