Flink环境下基于负载预测的弹性资源调度策略

作者：李梓杨; 于炯; 王跃飞; 卞琛; 蒲勇霖; 张译天; 刘宇

来源：通信学报, 2020, 41(10): 92-108.

• 流式计算
• 资源调度
• 负载预测
• 性能瓶颈
• Flink

为了解决大数据流式计算平台中存在计算负载剧烈波动,但集群因资源不足而遇到性能瓶颈的问题,提出了Flink环境下基于负载预测的弹性资源调度(LPERS-Flink)策略。首先,建立负载预测模型并在此基础上提出负载预测算法,预测集群负载的变化趋势;其次,建立资源判定模型,以判定集群出现资源瓶颈与资源过剩的问题,由此提出弹性资源调度算法,制定弹性资源调度计划;最后,通过在线负载迁移算法执行调度计划,实现高效的节点间负载迁移。实验结果表明,该策略在负载剧烈波动的应用场景中有较好的优化效果,实现了集群规模和资源配置对负载变化的及时响应,降低了负载迁移的通信开销。

• 单位
  成都大学; 广东金融学院; 新疆大学