一种解决数据异构问题的联邦学习方法

作者：张红艳; 张玉; 曹灿明

来源：计算机应用研究, 2023, 1-9.

DOI：10.19734/j.issn.1001-3695.2023.07.0296

• 联邦学习
• 数据共享
• 聚类
• 全局共享模型收敛
• 数据异构

联邦学习是一种不通过中心化的数据训练就能获得机器学习模型的系统，源数据不出本地，降低了隐私泄露的风险，同时本地也获得优化训练模型。但是由于各节点之间的身份，行为、环境等不同，导致不平衡的数据分布可能引起模型在不同设备上的表现出现较大偏差，从而形成数据异构问题。针对上述问题，提出了基于节点优化的数据共享模型参数聚类算法，将聚类和数据共享同时应用到联邦学习系统中，该方法既能够有效的减少数据异构对联邦学习的影响，也加快了本地模型收敛的速度。同时，设计了一种评估全局共享模型收敛程度的方法，用于判断节点聚类的时机。最后，采用数据集EMNIST、CIFAR-10进行了实验和性能分析，验证了共享比例大小对各个节点收敛速度，准确率的影响，并进一步分析了当聚类与数据共享同时应用到联邦学习前后各个节点的准确率。实验结果表明当引入数据共享后各节点的收敛速度以及准确率都均有提升，而当聚类与数据共享同时引入到联邦学习训练后与FedAvg算法对比后，其准确度提高约10%-15%，表明了提出的方法针对联邦学习数据异构问题上有着良好的效果。

• 单位
  郑州师范学院; 天津工业大学