Spark-GPU框架下海洋地理空间数据分布式并行处理任务调度

作者：景辉; 秦勃^*; 姜晓轶; 夏海涛

来源：中国海洋大学学报(自然科学版), 2018, 48(S2): 180-186.

DOI：10.16441/j.cnki.hdxb.20180032

• Spark
• 云计算
• 分布式并行
• GPU
• 任务调度
• 无关并行机任务调度

大规模长时间序列海洋地理空间数据处理属于计算密集型任务。本文重点介绍Spark框架下如何利用GPU并行计算机制实现海洋地理空间数据分布式并行处理的任务调度,以提高大规模长时间序列海洋地理空间数据处理效率,满足实时交互需求。Spark-GPU框架包括Spark-GPU调度器和Spark-GPU运行时两部分。任务计算量和GPU设备计算能力作为调度策略因子,采用一个多项式时间的2近似算法求解,是一个著名的无关并行机任务调度问题。本文以流场可视化线积分卷积算法作为测试用例,1 0002 000场的任务调度测试结果表明与原生Spark调度算法相比,Spark-GPU框架执行时间减少了14%18%,GPU占用比提高了10%20%。

• 单位
  中国海洋大学