分布式流处理系统的容错性能基准测试

作者：蒋程; 王晓桐; 张蓉^*

来源：软件工程, 2019, 22(12): 5-10.

DOI：10.19644/j.cnki.issn2096-1472.2019.12.002

• 分布式系统
• 流处理
• 容错性能
• 基准测试

随着对数据处理的实时性要求越来越高,分布式流处理系统应运而生。但是在分布式的集群规模下,各种软硬件原因导致的故障很难避免的。现有的相关基准测试主要关注于分布式流处理系统的处理性能,很少对该类系统处理故障的容错性能进行评测,以至于关键应用在系统选型的时候特别艰难。针对分布式流处理系统的容错性能,本文设计并实现了一套灵活的基准测试框架。最后,本文在开源数据流处理系统ApacheStorm和ApacheFlink进行了容错性能的基准测试,验证定义的测试基准的正确性和有效性,实验结果也表明Flink的容错性能相对较好。

• 单位
  华东师范大学