一种面向智联网的高效联邦学习算法

作者：叶进; 韦涛; 胡亮青; 罗森; 李晓欢

来源：计算机工程, 2023, 49(12): 243-261.

DOI：10.19678/j.issn.1000-3428.0066803

• 联邦学习
• 动量
• 智联网
• 非独立同分布
• 深度学习

在智联网(AIoT)中引入联邦学习(FL)可以加强数据的隐私保护，然而分布式AIoT设备间的数据通常是非独立同分布的，标准的FL模型训练算法会使模型训练时出现客户机漂移的现象，导致收敛缓慢和不稳定。针对此问题，提出基于全局动量的联邦学习算法FedCNM。FedCNM将在AIoT服务器聚合的全局梯度信息发送至AIoT设备，让AIoT设备可以根据全局梯度信息来初始化本地模型，并标准化客户机模型的参数更新，以全局动量的方式平滑客户机模型的更新来缓解客户机漂移问题，加快模型的训练。在CIFAR-10和CIFAR-100数据集上模拟大规模设备、部分参与和不同数据分布场景进行仿真实验，结果表明，较对比方法，FedCNM在各种任务上训练的模型可以提高1.46%～11.12%的测试精度，且完成各种学习任务所需要的通信量最少。在CIFAR-10数据集上对比SGD+M、NAG、Adam和AMSGrad这4个本地优化器对算法的影响，实验结果表明，当本地使用基于动量的优化器SGD+M和NAG时，分别提高了10.53%和10.44%的测试精度。