基于引导Minimax-DDQN的无人机空战机动决策

作者：王昱^*; 任田君; 范子琳

来源：计算机应用, 2023, 43(08): 2636-2643.

• 无人机空战
• 自主决策
• 深度强化学习
• 双重深度Q网络
• 多阶段训练

针对无人机(UAV)空战环境信息复杂、对抗性强所导致的敌机机动策略难以预测，以及作战胜率不高的问题，设计了一种引导Minimax-DDQN(Minimax-Double Deep Q-Network)算法。首先，在Minimax决策方法的基础上提出了一种引导式策略探索机制；然后，结合引导Minimax策略，以提升Q网络更新效率为出发点设计了一种DDQN(Double Deep Q-Network)算法；最后，提出进阶式三阶段的网络训练方法，通过不同决策模型间的对抗训练，获取更为优化的决策模型。实验结果表明，相较于Minimax-DQN(Minimax-DQN)、Minimax-DDQN等算法，所提算法追击直线目标的成功率提升了14%～60%，并且与DDQN算法的对抗胜率不低于60%。可见，与DDQN、Minimax-DDQN等算法相比，所提算法在高对抗的作战环境中具有更强的决策能力，适应性更好。

• 单位
  沈阳航空航天大学; 自动化学院