基于多智能体强化学习的无人艇协同围捕方法

作者：夏家伟; 朱旭芳^*; 张建强; 罗亚松; 刘忠

来源：控制与决策, 2023, 38(05): 1438-1447.

DOI：10.13195/j.kzyjc.2022.0564

• 无人艇
• 多智能体
• 强化学习
• 深度学习
• 协同围捕
• 近端策略优化

针对多无人艇对海上逃逸目标的围捕问题,提出一种基于多智能体强化学习的围捕算法.首先,以无人艇协同进攻为背景建立无边界围捕问题的环境和运动学模型,并针对快速性和合围性的需求给出围捕成功的判定条件;然后,基于多智能体近端策略优化(MAPPO)算法建立马尔可夫决策过程框架,结合围捕任务需求分别设计兼具伸缩性和排列不变性的状态空间,围捕距离、方位解耦的动作空间,捕获奖励与步长奖励相结合的奖励函数;最后,采用集中式训练、分布式执行的架构完成对围捕策略的训练,训练时采用课程式学习训练技巧,无人艇群共享相同的策略并独立执行动作.仿真实验表明,在无人艇起始数量不同的测试条件下,所提出方法在围捕成功率和时效性上相较于其他算法更具优势.此外,当无人艇节点损毁时,剩余无人艇仍然具备继续执行围捕任务的能力,所提出方法鲁棒性强,具有在真实环境中部署应用的潜力.

• 单位
  中国人民解放军海军工程大学; 电子工程学院