强化学习与自适应动态规划:从基础理论到多智能体系统中的应用进展综述

作者：温广辉; 杨涛^*; 周佳玲; 付俊杰; 徐磊

来源：控制与决策, 2023, 38(05): 1200-1230.

DOI：10.13195/j.kzyjc.2022.1933

• 强化学习
• 自适应动态规划
• 多智能体系统
• 马尔科夫决策过程
• 序贯决策
• 最优协调控制

近年来,强化学习与自适应动态规划算法的迅猛发展及其在一系列挑战性问题(如大规模多智能体系统优化决策和最优协调控制问题)中的成功应用,使其逐渐成为人工智能、系统与控制和应用数学等领域的研究热点.鉴于此,首先简要介绍强化学习和自适应动态规划算法的基础知识和核心思想,在此基础上综述两类密切相关的算法在不同研究领域的发展历程,着重介绍其从应用于单个智能体(控制对象)序贯决策(最优控制)问题到多智能体系统序贯决策(最优协调控制)问题的发展脉络和研究进展.进一步,在简要介绍自适应动态规划算法的结构变化历程和由基于模型的离线规划到无模型的在线学习发展演进的基础上,综述自适应动态规划算法在多智能体系统最优协调控制问题中的研究进展.最后,给出多智能体强化学习算法和利用自适应动态规划求解多智能体系统最优协调控制问题研究中值得关注的一些挑战性课题.

• 单位
  东南大学; 北京理工大学; 东北大学; 流程工业综合自动化国家重点实验室