一种基于Value均值的MapReduce任务分配策略

作者：薛愈洁

来源：太原学院学报(自然科学版), 2019, 37(01): 56-59.

DOI：10.14152/j.cnki.2096-191X.2019.01.011

• MapReduce
• Value均值
• 任务分配

在大数据处理中,MapReduce编程思想是处理海量数据中值得借鉴的思想,其计算任务可分为Map任务与Reduce任务。不同类型的数据,其来源与格式不同,处理时不同Key值的List<Value>集合不同,导致不同Reduce任务节点负载不同,体现在集群上为各个节点任务负载不均衡。针对MapReduce中不同Reduce任务节点负载不均衡问题,在Reduce任务中,将同一Key值的List<Value>集合进行均值处理,并根据Key值进行重新划分,提出一种基于Value均值的MapReduce任务分配策略。实验证明,该策略不仅能够提高Reduce任务处理效率,而且具有广泛性。

• 单位
  太原学院