基于奖惩共存收益模式的大数据作业调度器

作者：胡静

来源：计算机工程与设计, 2023, 44(02): 432-439.

DOI：10.16208/j.issn1000-7024.2023.02.016

• 大数据
• 收益模式
• 奖惩共存
• 资源利用率
• 作业调度器
• 任务
• 算法

为满足服务商获得最大收益、达到平台资源利用率最大的要求，提出一种基于奖惩共存收益模式的大数据作业调度器，该调度器中包括基于任务执行时间的确定轮数算法(TRN)和基于最大轮数的作业调度算法(MRNS)。TRN确定作业在不同奖惩阶段的Map和Reduce的最大轮数组合以及最大标准时间；MRNS选择具有局部最大收益的作业和该作业的任务最大轮数方案，制定出基于任务的作业调度策略。实验结果表明，提出的作业调度器对比已有的调度器，作业平均完成时间缩短了13.5%～25.9%、服务商收益提高了16.3%～26.4%,平台资源利用率平均提高了7.8%～10.3%,故该大数据作业调度器具有一定的高效性和可用性。

• 单位
  山西农业大学