强化学习中的策略重用:研究进展

作者:何立; 沈亮; 李辉*; 王壮; 唐文泉
来源:系统工程与电子技术, 2022, 44(03): 884-899.
DOI:10.12305/j.issn.1001-506X.2022.03.21

摘要

策略重用(policy reuse, PR)作为一种迁移学习(transfer learning, TL)方法,通过利用任务之间的内在联系,将过去学习到的经验、知识用于加速学习当前的目标任务,不仅能够在很大程度上解决传统强化学习(reinforcement learning, RL)收敛速度慢、资源消耗大等问题,而且避免了在相似问题上难以复用的问题。本文综述了RL中的PR方法,将现有方法细分为策略重构、奖励设计、问题转换、相似性度量等方面来分别介绍和分析各自的特点,及其在多智能体场景和深度RL(deep RL, DRL)中的扩展。并且,介绍了源和目标任务之间的映射方法。最后,基于当前PR的应用,叙述了该课题在未来发展方向上的一些猜想和假设。

全文