科研之友
微信
新浪微博
Facebook
分享链接
摘要
参与联邦学习的客户端只需在各自的本地数据集上训练本地模型，并在服务器上聚合全局模型。然而，数据异构会导致本地模型与全局最优模型收敛方向不一致，影响全局模型性能。现有工作主要集中在直接与全局模型做趋同，并未考虑全局模型合理性。本文研究了一种基于局部模型偏移的性能优化方案，本地训练过程中结合所有客户端模型关键参数，提高全局聚合模型可信度。具体来说，计算待训练模型与其他客户端模型参数差值，然后乘以其他客户端梯度，将结果作为正则项加入本地损失函数，从而抑制局部模型偏移。实验结果表明，该方案在MNIST，FMNIST，CIFAR上的图像识别正确率方面优于现有方法5个百分点以上。
- 单位
