科研之友
微信
新浪微博
Facebook
分享链接
摘要
本发明属于数据中心传输优化技术领域,公开一种数据中心里分布式机器学习数据重排的传输优化方法,包括：获取连接各台机器的网络拓扑结构；确定每台机器下一轮被分配到的样本集以及其当前存储中的样本集,建立机器间的样本依赖关系图；基于依赖关系图确定可用于编码的样本组合,同时为样本组合匹配发送节点,最后根据网络拓扑动态地计算需要消耗的网络跳数并参照评价公式选出最佳的样本组合方案和发送节点；把最佳的样本组合代表的数据包根据插入规则插入到其发送节点对应机器的发送队列；重复以上过程,直至所有需要传输的样本都已被插入到发送队列。本发明能够有效地降低数据重排对数据中心网络造成的压力,从而加速分布式机器学习的训练速度。
- 单位
