基于协同奖励函数多目标强化学习的智能频率控制策略研究

作者：韩保军; 高强; 代飞; 杨宵; 吕颖; 许忠义; 付希越^*

来源：电力科学与技术学报, 2023, 38(02): 18-29.

DOI：10.19781/j.issn.1673-9140.2023.02.003

• 风电并网
• 智能频率控制策略
• 多维度频率控制性能标准
• TOPQ-MORL算法
• 协同奖励函数

在含大规模风电并网系统的智能频率控制策略中，仅考虑CPS控制准则易造成频率短期集中越限，严重影响智能自动发电控制（AGC）策略的控制效果。提出一种基于协同奖励函数的多目标强化学习（TOPQ-MORL）智能频率控制策略，该策略构建了计及多维度频率控制性能评价标准的协同奖励函数，实现了多维度频率控制性能标准在时间尺度上的配合评价。采用TOPQ学习策略对智能体动作空间进行全局寻优，有效解决了传统贪婪策略下的Q函数线性加权多目标强化学习算法运算效率不佳的问题。标准两区域互联电网AGC控制模型仿真研究结果表明：所提智能AGC控制策略能有效改善频率控制性能，显著提高系统在全时间尺度上的频率质量。

• 单位
  自动化学院; 中国电力科学研究院有限公司; 武汉大学; 国网河南省电力公司