摘要

随着计算机技术的快速发展,云计算技术成为了解决用户的存储、算力需求的最佳方法之一,其中,基于NUMA架构动态虚拟机调度成为学术界和工业界关注的热点方向。但是,目前的研究中,基于启发式的算法难以对虚拟机进行实时调度,并且大多数文献没有考虑NUMA架构下虚拟机调度产生的能耗等问题。本文提出了一种基于深度强化学习的大型移动云中心虚拟机服务迁移框架,构建了NUMA架构下的能耗模型;提出了自适应奖励的分层自适应柔性演员评论家算法(HASAC,Hierarchical Adaptive Sampling Soft Actor Critic);在云计算场景下,通过与经典的三种深度强化学习方法进行实验对比。实验表明,本文所提出的改进算法在不同场景下可以处理更多用户请求,且消耗的能源较少。此外,对算法中各种策略进行消融实验,证明了提出的策略的有效性。