DMS算法在Map/Reduce任务调度中的应用

作者：裴树军; 孔德凯^*; 苗辉

来源：哈尔滨理工大学学报, 2019, 24(01): 71-77.

DOI：10.15938/j.jhust.2019.01.012

• 云计算
• Map/Reduce
• 任务调度
• 差值矩阵

云环境下传统的任务调度算法整体效率较低,为了提高任务调度的整体效率,在Map/Reduce基础上提出了一种基于处理时间的DMS任务调度算法。首先,对复杂任务进行预处理,将复杂任务转化为DAG图,依据任务依赖关系大小产生最佳拓扑排序,并依据排序结果将复杂任务交给work节点进行处理;其次,通过将节点处理任务的预测时间与节点处理能力的比值作为子任务在每个节点的处理"时间"进行量化建模,建立任务和处理时间的度量矩阵,依据DMS算法进行处理,从而获得任务分配最佳方案;最后,从任务调度效率与资源使用率的角度将DMS算法与公平调度算法、遗传算法行对比验证。实验结果表明,DMS算法能明显提高任务调度整体效率,充分利用各节点的计算能力提高了Map/Reduce的调度效率。

• 单位
  哈尔滨理工大学