基于强化学习的多无人飞行器避碰决策方法

作者：杨艳飞; 诸燕平; 胡灿; 张斌

来源：电光与控制, 2023, 30(09): 112-118.

• 无人飞行器
• 深度强化学习(DRL)
• 多智能体
• 避碰
• PPO2

随着低空空域环境的日益复杂，执行任务的无人飞行器间发生冲突的概率不断增加。针对传统强化学习算法SAC,DDPG在解决有限空域内多无人飞行器间的避碰问题上存在收敛速度慢、收敛不稳定等缺陷，提出了一种基于PPO2算法的多智能体强化学习(MARL)方法。首先，将多无人飞行器飞行决策问题描述为马尔可夫决策过程；其次，设计状态空间与奖励函数，通过最大化累计奖赏来优化策略，使整体训练更加稳定、收敛更快；最后，基于深度学习TensorFlow框架和强化学习Gym环境搭建飞行模拟场景，进行仿真实验。实验结果表明，所提方法相较于基于SAC和DDPG算法的方法，避碰成功率分别提高约37.74和49.15个百分点，能够更好地解决多无人飞行器间的避碰问题，在收敛速度和收敛稳定性方面更优。

• 单位
  常州大学