科研之友
微信
新浪微博
Facebook
分享链接
摘要
本发明公开了一种基于并行过参数化的高效联邦学习稀疏训练方法,旨在同时降低联邦学习的训练和通信开销,该方法属于联邦学习以及模型稀疏训练的交叉领域。具体包括以下步骤：S1、稀疏初始化,服务端将原始密集网络稀疏化；S2、寻找最优稀疏网络结构,通过将客户端分组执行并行参数探索达到并行过参数化,并在此基础上随着训练的推进动态地优化全局稀疏网络结构；S3、稀疏训练,使用步骤S2所寻找到的最优稀疏网络结构,由全部客户端所共享并继续训练至收敛。在联邦学习场景下,当采用VGG11网络在CIFAR10数据集上训练时,本发明仅使用原始模型5%的参数就能在准确率方面与其持平,并降低了71.8%的FLOPs计算开销和91.3%的通信开销。
- 单位
