丢包扰动环境下基于强化学习的最优输出调节

作者：崔云芳; 范家璐

来源：控制与决策, 2022, 38(02): 1-9.

DOI：10.13195/j.kzyjc.2021.1147

• 输出调节
• 强化学习
• 丢包
• 史密斯预估器
• 离轨策略
• 跟踪控制

本文针对存在线性外部干扰和状态反馈过程中发生丢包的网络控制系统的跟踪控制问题,采用输出调节的思想,提出基于离轨策略强化学习的数据驱动最优输出调节控制方法.实现仅利用在线数据就可求解控制策略.首先,对系统状态在网络传输过程存在丢包的情况,利用史密斯预估器重构系统的状态.然后基于输出调节控制框架,提出一种基于离轨策略强化学习的数据驱动最优控制算法,在系统状态发生丢包时仅利用在线数据计算反馈增益,在求解反馈增益过程中找到与求解输出调节问题的联系,随后基于求解反馈增益过程中得到的与输出调节问题中求解调节器方程相关的参数,计算前馈增益的无模型解.最后,仿真结果验证了所提方法的有效性.

• 单位
  流程工业综合自动化国家重点实验室; 东北大学