一种Mapreduce作业内存精确预测方法

作者：罗永刚; 陈兴蜀; 杨露

来源：电子科技大学学报, 2016, 45(06): 986-991.

DOI：10.3969/j.issn.1001-0548.2016.06.019

• 垃圾回收
• Java虚拟机
• mapreduce
• 资源管理

针对准确预测mapreduce作业内存资源需求困难的问题,根据Java虚拟机(JVM)的分代(JVM将堆内存划分为年轻代和年长代)内存管理特点,该文提出一种分代内存预测方法。建立年轻代大小与垃圾回收时间的模型,将寻找合理年轻代大小的问题转换为一个受约束的非线性优化问题,并设计搜索算法求解该优化问题。建立mapreduce作业的map任务和reduce任务性能与内存的关系模型,求解最佳性能的内存需求,从而获得map任务和reduce任务的年长代内存大小。实验结果表明,本文提出的方法能准确预测作业的内存需求;与默认配置相比,能提供平均6倍的性能提升。

• 单位
  四川大学