科研之友
微信
新浪微博
Facebook
分享链接
摘要
为应对传统手工切分神经网络模型计算任务并行化方法面临的并行化难度大、训练耗时长、设备利用率低等问题，提出了一种基于深度神经网络模型特性感知的任务切分及并行优化方法。首先结合硬件计算环境，对模型计算特性进行动态分析，获取模型内部相关性和各类参数属性，构建原始计算任务DAG（有向无环图，Directed acyclic graph）；然后利用增强反链，构建DAG节点间可分区聚类的拓扑关系，将原始DAG转换为易于切分的反链DAG；再通过拓扑排序生成反链DAG状态序列，并使用动态规划将状态序列切分为不同执行阶段，分析最佳分割点进行模型切分，实现模型分区与各GPU间动态匹配；最终对批量进行微处理，通过引入流水线并行实现多迭代密集训练，提高GPU利用率，减少训练耗时。实验结果表明，与已有的模型切分方法相比，在CIFAR-10数据集上，所提模型切分及并行优化方法可实现各GPU间训练任务负载均衡，在保证模型训练精度的同时，4GPU加速比达到3.4，8GPU加速比为3.76。
- 单位
