科研之友
微信
新浪微博
Facebook
分享链接
摘要
深度学习与大数据技术的结合在资源管理、任务调度等方面还存在许多问题，有待解决与优化。针对异构资源管理能力弱、原生调度算法灵活性差、多框架缺少统一的使用接口3个问题，提出了一种异构资源下分布式深度学习框架整合平台，并对任务调度算法的优化进行研究。平台以Spark框架为基础，向下对异构资源进行拓展与管理，向上整合了SparkOnAngel与TensorFlowOnSpark 2种框架，使用物理标注的方法，为挂载不同计算资源的机器打上不同的标签，并借助资源模型的双重表示，进行调度算法优化。结果表明：该平台与传统的spark集群相比，在5个minist＿spark与5个WordCount混合任务场景下，执行耗时降低13.4%;在大批量的WordCount任务场景下，当作业量达到60时，执行耗时可降低至32.31%。平台能够扩展对GPU资源的管理，调度算法更加灵活高效，可为多个框架提供统一的调用接口。
- 单位
