基于深度强化学习的服务功能链多维资源优化

作者：王晓; 唐伦; 贺小雨; 陈前斌

来源：计算机工程与应用, 2021, 57(04): 68-76.

• 网络功能虚拟化
• 服务功能链部署
• 无线资源分配
• 强化学习
• 深度确定性策略梯度算法

在网络功能虚拟化(Network Function Virtualization,NFV)环境下,保证用户服务功能链(Service Function Chain,SFC)服务质量的同时节约资源消耗,降低运营成本,对运营商来说至关重要。联合考虑SFC部署和无线接入网资源分配,提出一种基于深度强化学习的SFC多维资源联合分配算法。构建一种基于环境感知的SFC资源分配机制,建立用户时延要求、无线速率需求以及资源容量等约束下的SFC部署成本最小化模型。考虑到无线环境的动态变化,将此优化问题转化为一个无模型离散时间马尔科夫决策过程(Markov Decision Process,MDP)模型。由于该MDP状态空间的连续性和动作空间的高维性,采用深度确定性策略梯度(Deep Deterministic Policy Gradient,DDPG)强化学习算法进行求解,得到最小化部署成本的资源分配策略。仿真结果表明,该算法可在满足性能需求及资源容量等约束的同时,有效降低SFC部署成本和端到端传输时延。

• 单位
  通信与信息工程学院; 重庆邮电大学