科研之友
微信
新浪微博
Facebook
分享链接
摘要
目前，多智能体强化学习算法大多采用集中训练分布执行的方法，且在同构多智能体系统中取得了良好的效果。但是，由不同角色构成的异构多智能体系统往往存在信用分配问题，导致智能体很难学习到有效的合作策略。针对上述问题，提出了一种基于多智能体强化学习的端到端合作的自适应奖励方法，该方法能够促进智能体之间合作策略的生成。首先，提出了一种批正则化网络，该网络采用图神经网络对异构多智能体合作关系进行建模，利用注意力机制对关键信息进行权重计算，使用批正则化方法对生成的特征向量进行有效融合，使算法向正确的学习方向进行优化和反向传播，进而有效提升异构多智能体合作策略生成的性能；其次，基于演员-评论家方法，提出了一种双层优化的自适应奖励网络，将稀疏奖励转化为连续奖励，引导智能体根据场上形势生成合作策略。通过实验对比了当前主流的多智能体强化学习算法，结果表明，所提算法在“合作-博弈”场景中取得了显著效果，通过对策略-奖励-行为相关性的可视化分析，进一步验证了所提算法的有效性。
- 单位
