无人集群系统行为决策学习奖励机制

作者：张婷婷^*; 蓝羽石; 宋爱国

来源：北京航空航天大学学报, 2021, 47(12): 2442-2451.

DOI：10.13700/j.bh.1001-5965.2020.0600

• 无人集群系统
• MADDPG算法
• 对抗任务
• 行为决策
• 奖励机制

未来作战的发展方向是由多智能体系统构成的无人集群系统通过智能体之间自主协同来完成作战任务。由于每个智能体自主采取行为和改变状态,增加了智能群体行为策略训练的不稳定性。通过先验约束条件和智能体间的同构特性增强奖励信号的实时性,提高训练效率和学习的稳定性。采用动作空间边界碰撞惩罚、智能体间时空距离约束满足程度奖励;通过智能体在群体中的关系特性,增加智能体之间经验共享,进一步优化学习效率。在实验中,将先验增强的奖励机制和经验共享应用到多智能体深度确定性策略梯度(MADDPG)算法中验证其有效性。结果表明,学习收敛性和稳定性有大幅提高,从而提升了无人集群系统行为学习效率。

• 单位
  中国人民解放军陆军工程大学; 东南大学; 中国电子科技集团公司第二十八研究所