地理分布式机器学习：超越局域的框架与技术

作者：李宗航; 虞红芳; 汪漪

来源：中兴通讯技术, 2020, 26(05): 16-22.

DOI：10.12142/ZTETJ.202005004

• 大数据
• 人工智能
• 地理分布式机器学习
• 梯度稀疏化

提出了一种面向地理分布式机器学习的软件框架Geo MX,该框架从通信架构和压缩传输机制两方面着手优化通信。对应设计了分层参数服务器(HiPS)架构和双向稀疏梯度传输(BiSparse)技术,旨在分别减少广域传输的梯度流数量和流大小。GeoMX在跨广域分布的数据中心上最高可取得4倍于数据中心内MXNET的训练效率,且几乎无精度损失。

• 单位
  鹏城实验室; 电子科技大学; 南方科技大学