基于策略约束强化学习的算网多目标优化研究

作者：沈林江; 曹畅; 崔超; 张岩

来源：电信科学, 2023, 39(08): 136-148.

• 算力网络
• 多目标优化
• 强化学习

算力网络需要在满足用户业务需求的基础上最大化系统性能指标，现有方法主要通过多目标加权进行转换和求解，存在超参数难以确定、跨场景适用性差等问题。在分析算网目标特性的基础上，基于策略约束强化学习，将业务需求作为约束、系统性能指标作为优化目标，通过价值—策略—超参数的多级迭代策略，实现算网对用户业务需求的期望确定性保障和对系统性能的最优化。同时，研究了针对超参数寻优的多尺度步长（multi-scale step length,MSL）方法，进一步提升了系统的稳定性和准确性。仿真结果表明，所提方法在系统架构和负载变化情况下均具有良好的收敛性和稳定性。

• 单位
  中国联合网络通信有限公司