基于优化强化学习的多智能体编队最优控制

作者：张海峰^*; 简燕红; 王宏刚; 崔琪

来源：控制工程, 2022, 29(12): 2316-2321.

DOI：10.14107/j.cnki.kzgc.20200656

• 多智能体
• 最优编队控制
• 强化学习
• 神经网络

针对一类非线性多智能体系统的编队控制问题，设计了基于优化强化学习的最优控制策略。首先，通过设计分布式多智能体性能指标函数获得了多智能体的分布式哈密顿-雅可比-贝尔曼(HJB)方程。利用优化强化学习的方法来求解HJB方程，从而获得最优控制策略，其中评价网络和执行网络分别用于逼近系统的性能指标函数和最优控制策略。与传统强化学习方法相比，所提方法避免了通过基于HJB方程估计误差平方的梯度下降法来获得神经网络的权重更新律的过程，从而简化了控制器设计。然后，通过李雅普诺夫理论证明了闭环控制系统的稳定性。最后，通过仿真实验验证了所提控制方法的有效性。

• 单位
  国家电网有限公司