科研之友
微信
新浪微博
Facebook
分享链接
摘要
策略蒸馏是一种将知识从一个策略转移到另一个策略的方法，在具有挑战性的强化学习任务中获得了巨大的成功。典型的策略蒸馏方法采用的是师生策略模型，即知识从拥有优秀经验数据的教师策略迁移到学生策略。获得一个教师策略需要耗费大量的计算资源，因此双策略蒸馏框架（Dual Policy Distillation， DPD）被提出，其不再依赖于教师策略，而是维护两个学生策略互相进行知识迁移。然而，若其中一个学生策略无法通过自我学习超越另一个学生策略，或者两个学生策略在蒸馏后趋于一致，则结合DPD的深度强化学习算法会退化为单一策略的梯度优化方法。针对上述问题，给出了学生策略之间相似度的概念，并提出了基于相似度约束的双策略蒸馏框架（Similarity Constrained Dual Policy Distillation， SCDPD）。该框架在知识迁移的过程中，动态地调整两个学生策略间的相似度，从理论上证明了其能够有效提升学生策略的探索性以及算法的稳定性。实验结果表明，将SCDPD与经典的异策略和同策略深度强化学习算法结合的SCDPD-SAC算法和SCDPD-PPO算法，在多个连续控制任务上，相比经典算法具有更好的性能表现。
- 单位
