科研之友
微信
新浪微博
Facebook
分享链接
摘要
生成对抗模仿学习是一种基于生成对抗框架的逆向强化学习方法，旨在从专家样本中模仿专家策略.在实际任务中，专家样本往往由多模态策略产生.然而，现有的生成对抗模仿学习方法大部分假设专家样本产自于单一模态策略，导致生成对抗模仿学习只能学习到部分模态策略，即出现模态塌缩问题，这极大地限制了模仿学习方法在多模态任务中的应用.针对模态塌缩问题，提出了基于余弦相似度的多模态模仿学习方法（multi-modal imitation learning method with cosine similarity， MCS-GAIL）.该方法引入编码器和策略组，通过编码器提取专家样本的模态特征，计算采样样本与专家样本之间特征的余弦相似度，并将其加入策略组的损失函数中，引导策略组学习对应模态的专家策略.此外，MCS-GAIL使用新的极小极大博弈公式指导策略组以互补的方式学习不同模态策略.在假设条件成立的情况下，通过理论分析证明了MCS-GAIL的收敛性.为了验证方法的有效性，将MCS-GAIL用于格子世界和MuJoCo平台上，并与现有模态塌缩方法进行比较.实验结果表明，MCS-GAIL在所有环境中均能有效学习到多个模态策略，且具有较高的准确性和稳定性.
- 单位
