科研之友
微信
新浪微博
Facebook
分享链接
摘要
分布式机器学习因其优越的并行能力成为人工智能领域复杂模型训练的常用技术。然而，GPU升级换代非常快，异构集群环境下的分布式机器学习成为数据中心、研究机构面临的新常态。异构节点之间训练速度的差异使得现有并行方法难以平衡同步等待和陈旧梯度的影响，从而显著降低模型整体训练效率。针对该问题，提出了一种基于节点状态的动态自适应并行方法 (dynamic adaptive synchronous parallel, DASP)，利用参数服务器动态管理节点训练时的状态信息并对节点的并行状态进行划分，通过节点状态信息自适应调整每个节点的并行状态，以减少快速节点对全局模型参数的同步等待时间与陈旧梯度的产生，从而加快收敛效率。在公开数据集上的实验结果表明，DASP比主流方法收敛时间减少了16.9%～82.1%，并且训练过程更加稳定。
- 单位
