摘要
为了最大限度地提高异构网络(HetNets)的能量利用率,本文将能效优化问题设计为一个多级决策问题,根据优化目标的资源分配,首先将初始问题分解为对参数几乎空白子帧比例和小区间范围扩展进行优化的两个子问题,采用多智能体Actor-Critic(MAAC)算法对子问题进行求解,然后通过迭代各优化子问题的解,解决初始优化问题。在参数优化过程中,将单个小基站作为一个智能体,采用MAAC算法对各自CRE寻找最优解,实现小区间异步CRE优化。实验结果表明,该方法在保持能效稳定提高的前提下,相比较于表格式Q学习的循环Q学习算法,其收敛速度提高了40%,并且通过异步优化CRE的方式取得了基站间更均衡的负载。
- 单位