基于多智能体Nash-Q强化学习的综合能源市场交易优化决策

作者：孙庆凯; 王小君^*; 王怡; 张义志; 刘曌; 和敬涵

来源：电力系统自动化, 2021, 45(16): 124-133.

• 综合能源市场
• 市场出清
• 多主体博弈
• Nash均衡
• 多智能体强化学习

目前求解综合能源市场多参与主体竞价博弈问题普遍采用数学推导法与启发式算法,但两类方法均须以完全信息环境为前提假设,同时前者忽略市场参与者非凸非线性属性,后者易陷入局部最优解。为此,引入多智能体Nash-Q强化学习算法,将市场参与主体构建成智能体,经由智能体在动态市场环境中反复探索与试错寻找博弈均衡点。首先,构建竞价决策-市场出清双层迭代的电-气综合能源市场交易框架。其次,在竞价决策层中通过博弈理论构建市场参与主体间的利益关系模型,采用多智能体Nash-Q强化学习算法优化参与主体竞价策略。然后,在市场出清层中联合博弈竞价策略共同求解得到交易Nash均衡解。最后,通过算例仿真验证了所提方法的有效性和准确性。

• 单位
  北京交通大学