多MapReduce作业协同下的大数据挖掘类算法资源效率优化

作者：廖彬; 张陶; 于炯; 黄静莱; 国冰磊; 刘炎

来源：计算机应用研究, 2020, (05): 1321-1325.

DOI：10.19734/j.issn.1001-3695.2018.11.0795

• MapReduce优化
• ItemBased算法
• 内存文件系统
• I/O效率
• 资源优化 MapReduce optimization
• ItemBased algorithm
• memory file system
• I/O efficiency
• resource optimization

由于任意的MapReduce作业都需要独立地进行任务调度、资源分配等一系列复杂的操作,这使得同一算法协同的多个MapReduce作业之间,存在着大量的冗余磁盘I/O及资源重复申请操作,导致计算过程中资源利用效率低下。大数据挖掘类算法通常被切分成多个MapReduce job协作完成。以Item Based算法为例,对多MapReduce作业协同下的大数据挖掘算法存在的资源效率问题进行了分析,提出基于Distributed Cache的ItemBased算法,利用Distributed Cache将多个MapReduce job之间的I/O数据进行缓存处理,打破作业之间独立性的缺陷,减少map与...

• 单位
  新疆财经大学; 新疆大学