基于组合训练的规则嵌入多智能体强化学习方法

作者：李渊; 徐新海^*

来源：计算机应用研究, 2022, 39(03): 802-806.

DOI：10.19734/j.issn.1001-3695.2021.09.0351

• 多智能体强化学习
• 嵌入规则
• 规则选择模型
• 组合训练

多智能体强化学习方法在仿真模拟、游戏对抗、推荐系统等许多方面取得了突出的进展。然而，现实世界的复杂问题使得强化学习方法存在无效探索多、训练速度慢、学习能力难以持续提升等问题。该研究嵌入规则的多智能体强化学习技术，提出基于组合训练的规则与学习结合的方式，分别设计融合规则的多智能体强化学习模型与规则选择模型，通过组合训练将两者有机结合，能够根据当前态势决定使用强化学习决策还是使用规则决策，有效解决在学习中使用哪些规则以及规则使用时机的问题。依托中国电子科技集团发布的多智能体对抗平台，对提出的方法进行实验分析和验证。通过与内置对手对抗，嵌入规则的方法经过约1.4万局训练就收敛到60%的胜率，而没有嵌入规则的算法需要约1.7万局的时候收敛到50%的胜率，结果表明嵌入规则的方法能够有效提升学习的收敛速度和最终效果。