基于轨迹信息量的分层强化学习方法

作者：徐亚鹏; 刘全^*; 栗军伟

来源：计算机科学, 2023, 50(12): 314-321.

• option
• 分层强化学习
• 轨迹信息
• 鉴别器
• 深度强化学习

基于option的分层强化学习(The Option-Based Hierarchical Reinforcement Learning, O-HRL)算法具有时序抽象的特点，可以有效处理强化学习中难以解决的长时序、稀疏奖励等复杂问题。目前O-HRL方法的研究主要集中在数据效率提升方面，通过提高智能体的采样效率以及探索能力，来最大化其获得优秀经验的概率。然而，在策略稳定性方面，由于在上层策略引导下层动作的过程中仅仅考虑了状态信息，造成了option信息的利用不充分，进而导致下层策略的不稳定。针对这一问题，提出了一种基于轨迹信息量的分层强化学习(Hierarchical Reinforcement Learning Method Based on Trajectory Information, THRL)方法。该方法利用option轨迹的不同类型信息指导下层动作选择，通过得到的扩展轨迹信息生成推断option。同时引入鉴别器将推断option与原始option作为输入，以获得内部奖励，使得下层动作的选择更符合当前option策略，从而解决下层策略不稳定的问题。将THRL算法以及目前优秀的深度强化学习算法应用于MuJoCo环境问题中，实验结果表明，THRL算法具有更好的稳定性以及性能表现，验证了算法的有效性。

• 单位
  苏州大学