基于观测空间关系提取的多智能体强化学习

作者：许书卿; 臧传治; 王鑫; 刘鼎; 刘玉奇; 曾鹏

来源：计算机应用研究, 2022, 39(10): 2957-2961.

DOI：10.19734/j.issn.1001-3695.2022.03.0138

• 多智能体
• 强化学习
• 注意力机制
• 观测空间

针对多智能体系统(multi-agent systems, MAS)中环境具有不稳定性、智能体决策相互影响所导致的策略学习困难的问题，提出了一种名为观测空间关系提取(observation relation extraction, ORE)的方法，该方法使用一个完全图来建模MAS中智能体观测空间不同部分之间的关系，并使用注意力机制来计算智能体观测空间不同部分之间关系的重要程度。通过将该方法应用在基于值分解的多智能体强化学习算法上，提出了基于观测空间关系提取的多智能体强化学习算法。在星际争霸微观场景(StarCraft multi-agent challenge, SMAC)上的实验结果表明，与原始算法相比，带有ORE结构的值分解多智能体算法在收敛速度和最终性能方面都有更好的性能。

• 单位
  中国科学院沈阳自动化研究所; 机器人学国家重点实验室; 中国科学院大学; 沈阳工业大学