基于噪声对比估计的权重自适应对抗生成式模仿学习

作者：关伟凡; 张希

来源：模式识别与人工智能, 2023, 36(04): 300-312.

DOI：10.16451/j.cnki.issn1003-6059.202304002

• 强化学习
• 模仿学习
• 噪声对比估计
• 自适应权重

传统模仿学习需满足专家样本均为质量极高的最优专家样本，这一限制条件既提高数据的采集难度也限制算法的应用场景.由此，文中提出基于噪声对比估计的权重自适应对抗生成式模仿学习算法(Weight Adaptive Generative Adversarial Imitation Learning Based on Noise Contrastive Estimation, GLANCE),在专家样本质量不一致的任务场景下可保持较高性能.首先，使用噪声对比估计训练特征提取器，改善次优专家样本特征分布.然后，为专家样本设定可学习权重系数，并对基于权重系数重分布后的样本执行对抗生成式模仿学习.最后，基于已知相对排序的评估数据计算排序损失，通过梯度下降法优化权重系数，改善数据分布.在多个连续控制型任务上的实验表明，专家样本质量不一致时，GLANCE仅需要获取专家样本数据集上5%数据作为评估数据集，就可以达到较优的性能表现.

• 单位
  模式识别国家重点实验室; 中国科学院自动化研究所; 中国科学院大学