基于强化学习的部分线性离散时间系统的最优输出调节

作者：庞文砚; 范家璐^*; 姜艺; LEWIS Frank Leroy

来源：自动化学报, 2022, 48(09): 2242-2253.

DOI：10.16383/j.aas.c190853

• 输出调节
• 离散时间系统
• 强化学习
• 非线性未知动态

针对同时具有线性外部干扰与非线性不确定性下的离散时间部分线性系统的最优输出调节问题,提出了仅利用在线数据的基于强化学习的数据驱动控制方法.首先,该问题可拆分为一个受约束的静态优化问题和一个动态规划问题,第一个问题可以解出调节器方程的解.第二个问题可以确定出控制器的最优反馈增益.然后,运用小增益定理证明了存在非线性不确定性离散时间部分线性系统的最优输出调节问题的稳定性.针对传统的控制方法需要准确的系统模型参数用来解决这两个优化问题,提出了一种数据驱动离线策略更新算法,该算法仅使用在线数据找到动态规划问题的解.然后,基于动态规划问题的解,利用在线数据为静态优化问题提供了最优解.最后,仿真结果验证了该方法的有效性.

• 单位
  流程工业综合自动化国家重点实验室; 东北大学