COURIER：基于非抢占式优先排队和优先经验重放DRL的边缘计算任务调度与卸载方法

作者：杨秀文; 崔允贺^*; 钱清; 郭春; 申国伟

来源：计算机科学, 2023, 1-16.

• 边缘计算
• 计算卸载
• 非抢占式优先排队
• 信息熵
• 深度强化学习
• 优先经验重放

边缘计算（Edge Computing，EC）将计算、存储等资源部署在网络边缘，满足业务对时延和能耗要求。计算卸载是EC中的关键技术之一。现有计算卸载方法在估计任务排队时延时使用M/M/1/∞/∞/FCFS或M/M/n/∞/∞/FCFS排队模型，未考虑高时延敏感型任务的优先执行问题，使一些对时延要求不苛刻的计算任务长期占用计算资源，导致系统的时延开销过大。此外，现有经验重放方法大多采用随机采样方式，该方式不能区分经验的优劣，造成经验利用率低和神经网络收敛速度慢。最后，基于确定性策略深度强化学习（Deep Reinforcement Learning，DRL）的计算卸载方法存在智能体对环境的探索能力弱和鲁棒性低等问题，降低了求解计算卸载问题的精度。为解决以上问题，考虑边缘计算中多任务移动设备、多边缘服务器计算卸载场景，以最小化系统时延和能耗联合开销为目标，研究任务调度与卸载决策问题，并提出了基于非抢占式优先排队和优先经验重放DRL的计算卸载方法（Computation Offloading qUeuing pRioritIzed Experience Replay DRL，COURIER）。COURIER针对任务调度问题，设计了非抢占式优先排队模型（M/M/n/∞/∞/NPR）以优化任务的排队时延；针对卸载决策问题，基于软演员-评论家（Soft Actor Critic，SAC）提出了优先经验重放SAC的卸载决策机制，该机制在目标函数中加入信息熵，使智能体采取随机策略，同时优化机制中经验采样方式以加快网络的收敛速度。仿真实验结果表明，COURIER能有效降低EC系统时延和能耗联合开销。

• 单位
  贵州财经大学; 贵州大学