基于深度学习的容器化Flink上下游负载均衡策略研究

作者:艾力卡木·再比布拉; 甄妞; 黄山*; 段晓东
来源:大连民族大学学报, 2023, 25(01): 47-52.
DOI:10.13744/j.cnki.cn21-1431/g4.2023.01.007

摘要

容器化部署Flink时,存在上下游算子的容器内存分配不均衡问题。提出基于深度学习的容器化Flink上下游负载均衡框架,使用CEEMDAN分解方法和BiLSTM相结合的预测方法预测Flink下游容器所需内存,并依据预测结果调整容器内存分配。实验证明:提出的上下游负载均衡策略可有效减少上游容器的等待时间,缓解下游容器的资源,计算效率提高约20%。

全文