摘要

Hadoop和Spark等大数据处理平台可以借助云环境提供的计算资源来调度自身任务,但分布式的节点集群在面对大量任务时需要解决更加复杂的负载不均问题。提出一种基于负载预测机制的调度算法,该算法充分考虑每个计算节点的性能和实际负载情况,采用分布式调度结构和动态指数平滑预测模型对负载进行动态调度,并利用分层结构降低通信开销。实验结果表明,该算法有效提高了负载均衡的效率,在高并发的情况下优于常规方案。

全文