大数据流式计算框架的任务调度优化方法研究

作者:梁秋红; 郝雅萍
来源:中州大学学报, 2019, 36(03): 125-128.
DOI:10.13783/j.cnki.cn41-1275/g4.2019.03.024

摘要

Storm是当前流式大数据计算处理的主要平台,它配置了一个自动任务调度框架,但其并未考虑到网络节点负载不均衡,调度方式单一。提出直接分配固定节点的任务分配调度策略,将子拓扑中组件线程都分配给固定的工作节点上;基于负载均衡任务调度策略,应用贪心策略选取资源数量最大的工作节点进行分配,实验结果表明本文提出的任务调度策略具备较好的实时性。

  • 单位
    朔州师范高等专科学校