基于Storm slot使用率低优先的动态负载均衡策略

作者：黄容; 王贤稳

来源：电脑知识与技术, 2016, 12(36): 8-11.

DOI：10.14004/j.cnki.ckt.2016.4784

• Storm集群
• 实时计算
• slot使用率
• 动态迁移
• 负载均衡

Storm现有的负载均衡机制,会导致集群节点slot资源使用不均衡,而且在集群节点资源变化后,也无法动态调度各节点负载。针对该问题,该文提出基于slot使用率低优先的动态负载均衡策略。该策略在给Topology分配slot计算资源时,优先分配slot使用率低的节点;当集群可用资源变化时,对节点按照负载从高到低排序,并将高负载节点上的任务动态迁移到低负载节点上,实现动态负载均衡。实验结果表明,基于slot使用率低优先的动态负载均衡策略能够有效促进Storm集群负载均衡,提升Storm集群的计算性能。

• 单位
  重庆邮电大学