基于增量式Q学习的固定翼无人机跟踪控制性能优化

作者：赵振根; 程磊

来源：控制与决策, 2022, 1-9.

DOI：10.13195/j.kzyjc.2022.0708

• 强化学习
• Q学习
• 增量式控制
• 性能优化
• 跟踪控制
• 无人机

针对固定翼无人机纵向控制的高性能需求,提出一种控制系统性能优化结构.该结构包括一个使系统稳定的标称控制器和一个参与性能优化的增量式控制器.控制系统增量式的实现不会改变原有的控制系统,而是仅对标称控制系统做控制输入的补偿与控制性能的优化.基于Q学习理论,进行增量式控制器设计.针对状态信息完全可获得的系统,设计一种基于状态反馈的增量式Q学习算法.当状态信息不能完全获得时,利用系统输入、输出和参考信号数据,设计一种基于输出反馈的增量式Q学习算法.两种增量式控制器均是在数据驱动环境下自适应学习增量式控制律,无需提前知道系统动力学模型以及标称控制器的控制增益.此外,证明了增量式Q学习方法在满足持续激励条件的激励噪声下,对Q函数贝尔曼方程的求解没有偏差.最后,通过对F-16飞行器纵向模型实例的仿真验证了该方法的有效性.

• 单位
  自动化学院; 南京航空航天大学