基于SAC算法的作战仿真推演智能决策技术

作者：王兴众; 王敏^*; 罗威

来源：中国舰船研究, 2021, 16(06): 99-108.

DOI：10.19693/j.issn.1673-3185.02099

• 作战推演
• 自主决策
• 深度强化学习
• 软策略迭代
• 最大熵

[目的]现有作战推演仿真系统主要基于作战规则和经验知识作决策,但存在应用场景有限、效率低、灵活性差等问题。为此,提出一种基于深度强化学习(DRL)技术的智能决策模型。[方法]首先,建立仿真推演的最大熵马尔科夫决策过程(MDP);然后,以actor-critic (AC)体系为基础构建智能体训练网络,生成随机化策略以提高智能体的探索能力,利用软策略迭代更新的方法搜索更优策略,不断提高智能体的决策水平;最后,在仿真推演平台上对决策模型进行验证。[结果]结果表明,利用改进SAC决策算法训练的智能体能够实现自主决策,且与深度确定性策略梯度(DDPG)算法相比,获胜概率约提高了24.53%。[结论]所提出的决策模型设计方案可以为智能决策技术研究提供理论参考,对作战仿真推演具有借鉴意义。

• 单位
  中国舰船研究设计中心