面向稀疏奖励的机器人操作技能学习

作者：吴培良; 张彦; 毛秉毅; 陈雯柏; 高国伟

来源：控制理论与应用, 2022, 1-9.

• 机器人操作技能学习
• 强化学习
• 稀疏奖励
• 最大熵方法
• 自适应温度参数
• 元学习

基于深度强化学习的机器人操作技能学习成为研究热点,但由于任务的稀疏奖励性质,学习效率较低.本文提出了基于元学习的双经验池自适应软更新事后经验回放(Double experience replay buffer Adaptive Soft Hindsight Experience Replay, DAS-HER)方法,并将其应用于稀疏奖励的机器人操作技能学习问题求解.首先,在软更新事后经验回放(Soft Hindsight Experience Replay, SHER)算法的基础上推导出可以提高算法效率的精简值函数,并加入温度自适应调整策略,动态调整温度参数以适应不同的任务环境;其次,结合元学习思想对经验回放进行分割,训练时动态调整选取真实采样数据和构建虚拟数的比例,提出了DAS-HER方法;然后,将DAS-HER算法应用到机器人操作技能学习中,构建了一个稀疏奖励环境下具有通用性的机器人操作技能学习框架;最后,在Mujoco下的Fetch和Hand环境中,进行了八项任务的对比实验,实验结果表明,无论是在训练效率还是在成功率方面,本文算法表现均优于其他算法.

• 单位
  北京信息科技大学; 自动化学院; 燕山大学