MapReduce框架下结合分布式编码计算的容错算法

作者：张基; 谢在鹏; 毛莺池; 徐媛媛; 朱晓瑞; 李博文

来源：计算机工程, 2021, 47(04): 173-179.

DOI：10.19678/j.issn.1000-3428.0057721

• 分布式系统
• 分布式计算
• 容错算法
• 分布式编码计算
• 三模冗余

随着分布式系统规模扩大及计算复杂度增加,分布式计算的平均故障修复时间和容错计算所产生的通信开销呈现日益上升趋势。结合分布式编码计算和副本冗余技术,提出一种新的容错算法。map节点应用分布式编码计算的思想,将数据冗余分配至多个计算节点创建编码中间结果,降低计算节点在shuffle阶段的数据传输量。reduce节点通过对接收到的编码中间结果进行解码,从而验证中间结果的正确性并得到最终计算结果。实验结果表明,在基于MapReduce的分布式计算框架下,与三模冗余和两阶段三模冗余容错算法相比,该算法在完成容错计算的同时能降低计算过程中的通信开销和平均故障修复时间,并提高分布式系统的可用性和可靠性。