基于MapReduce的并行数据流调度策略

作者:葛茂松; 王永利; 张立铭; 赵佳彬; 于占龙; 张国忠
来源:电脑知识与技术, 2019, 15(26): 11-12.
DOI:10.14004/j.cnki.ckt.2019.2919

摘要

本文提出一种基于MapReduce的并行数据流调度策略,包括作业性能估计策略和任务调度策略。通过对过去作业和任务信息的统计,对任务完成时间、所需资源和优先级进行估算,并以此对作业进行调度。经实验测试,利用该策略设计的算法可达到预期调度目标。