科研之友
微信
新浪微博
Facebook
分享链接
摘要
Storm作为实时性的数据处理系统在处理流式数据时性能优势显著,但其调度器在任务调度时无法感知节点资源造成节点资源闲置、topology延时过高、集群吞吐量低等问题。引入萤火虫算法通过感知集群资源,本文模拟萤火虫在晚上的群聚活动的自然现象,将节点的资源动态变化表示为萤火从的荧光素,任务调度则是寻找集群的最优解,该算法的引入保证了Storm任务调度的有效性。实验验证结果表明,与默认调度相比,引入萤火虫算法后Storm具有更优的任务调度效率、更少的平均处理时延和更高的集群吞吐量,有利于平衡集群各节点负载,提升性能。
-
单位中国联合网络通信有限公司
