高效联邦学习：范数加权聚合算法

作者：陈攀; 张恒汝^*; 闵帆

来源：计算机应用研究, 2023, 1-7.

DOI：10.19734/j.issn.1001-3695.2023.07.0327

• 联邦学习
• 通信成本
• 隐私保护
• 非独立同分布
• 聚合
• 梯度

在联邦学习中，跨客户端的非独立同分布(non-IID)数据导致全局模型收敛较慢，通信成本显著增加。现有方法通过收集客户端的标签分布信息来确定本地模型的聚合权重，以加快收敛速度，但这可能会泄露客户端的隐私。为了在不泄露客户端隐私的前提下解决non-IID数据导致的收敛速度降低的问题，提出FedNA聚合算法。该算法通过两种方法来实现这一目标。第一，FedNA根据本地模型类权重梯度的L1范数来分配聚合权重，以保留本地模型的贡献。第二，FedNA将客户端的缺失类对应的类权重梯度置为0，以缓解缺失类对聚合的影响。在两个数据集上模拟了四种不同的数据分布进行实验。结果表明，与FedAvg相比，FedNA算法达到稳定状态所需的迭代次数最多可减少890次，降低44.5%的通信开销。FedNA在保护客户端隐私的同时加速了全局模型的收敛速度，降低了通信成本，可用于需要保护用户隐私且对通信效率敏感的场景。

• 单位
  西南石油大学