基于累计工作量的在线大数据分析作业调度算法

作者：李叶飞; 徐超; 许道强; 邹云峰; 张晓达; 钱柱中^*

来源：计算机应用, 2019, 39(08): 2431-2437.

• 数据分析系统
• 作业流时间
• 公平性
• 饥饿避免

针对Hadoop和Spark等大数据分析系统中无先验知识任务的高效执行问题,设计了基于累计工作量(CRW)的任务调度器CRWScheduler。该调度器根据CRW将任务在低权重队列与高权重队列间切换;在为作业分配资源时,同时考虑到作业所在的队列和其瞬时占用资源量,无需作业先验知识即显著提升系统性能。基于Apache Hadoop YARN实现了CRWScheduler原型,在28个节点的基准测试集群上的实验表明,与YARN的公平调度机制相比,作业流时间(JFT)平均降低21%,其中95百分位的作业流时间(JFT)最多降低了35%,并且在与任务级调度程序协作时可获得进一步的性能提升。

• 单位
  南京大学