基于解耦型MADDPG的无人机集群自主跟踪与避障

作者：文超; 董文瀚; 解武杰; 蔡鸣; 胡多修

来源：飞行力学, 2022, 40(06): 24-31.

DOI：10.13645/j.cnki.f.d.20220927.001

• 无人机集群
• 多智能体深度强化学习
• 自主跟踪
• 避障
• 随机博弈过程

考虑单无人机在复杂空域环境下对地面动目标执行跟踪任务的局限性，采用多智能体深度强化学习(MADRL)方法对无人机集群目标自主跟踪问题进行了研究。首先，基于随机博弈过程设计联合状态空间、动作空间和奖惩机制，并由此建立了无人机集群三维自主机动模型。其次，考虑MADRL的稀疏回报问题，设计了引导型奖励函数，增强了算法收敛性能。接着，为提高集群学习效率，设计了相应的解耦型奖励函数和神经网络结构，并采用解耦型多智能体深度确定性策略梯度(MADDPG)算法对模型进行自适应训练，以生成无人机集群自主跟踪与避障最优机动策略。最后，开展了仿真验证。结果表明：基于MADRL方法的无人机集群能更好地满足复杂空域环境下目标跟踪任务的需求；相比于MADDPG,解耦型MADDPG算法具有更强的准确性和实时性。

• 单位
  空军工程大学