基于Hadoop的高性能海量数据处理平台研究

作者：翟岩龙; 罗壮; 杨凯; 徐晟晨

来源：计算机科学, 2013, (03): 100-103.

• CPU/GPU协同计算
• Hadoop
• 海量数据处理
• 高性能计算 CPU/GPU collaborative computing
• Hadoop
• Massive data processing
• HPC

海量数据高性能计算蕴藏着巨大的应用价值,但是目前云计算体系只具有海量数据处理能力,而不具有足够的高性能计算能力。将具有超强并行计算能力的GPU与云计算相融合,提出了基于CPU/GPU协同的异构高性能云计算体系结构。以开源Hadoop为基础,采用注释码的形式对MapReduce函数中需要并行的部分进行标记。通过定制GPU类加载器,将被标记代码转换为CUDA代码并动态编译运行。该平台将GPU的计算能力融合到MapRe-duce框架中,可高效处理海量数据。

• 单位
  北京理工大学; 北京仿真中心