摘要
针对联邦学习模型在训练过程中出现的客户端漂移以及协变量偏移的问题,提出一种基于批量归一化的自适应联邦学习算法。该算法融合参数自适应更新与批量归一化。在迭代的过程中,客户端本地模型通过自适应参数不断优化,从而缓解客户端漂移。通过批量归一化约束模型复杂度,算法收敛速度显著加快。使用时装数据集以及图像10分类数据集分别在卷积神经网络以及多层感知机网络模型上进行实验。结果表明,相较于经典的联邦平均算法,提出的算法在提升精度的同时加快了30%以上的收敛速度。在非独立同分布的数据实验中,该算法在设备低参与率的情况下也能够达到预期的效果。
-
单位武汉工程大学; 数理学院