面向数据混合分布的联邦自适应交互模型

作者：郭松岳; 王阳谦; 柏思远; 刘永恒; 周骏; 王梦鸽; 廖清

来源：计算机研究与发展, 2022, 1-13.

• 机器学习
• 联邦学习
• 非独立同分布
• 信息熵
• 自适应模型

联邦学习作为一种新兴的分布式机器学习方法，保证了物联网（internet of things，IoT）设备在数据不出本地的前提下，通过仅传递模型参数来共同维护中央服务器模型，从而达到保护数据隐私安全的目的．传统的联邦学习方法常常在基于设备数据独立同分布的场景下进行联合学习．然而，在实际场景中各设备间的数据样本分布存在差异，使得传统联邦学习方法在非独立同分布（non-independent and identically distributed，Non-IID）的场景下效果不佳．面向Non-IID场景下的混合数据分布问题，提出了新型的联邦自适应交互模型（federated adaptive interaction model，FedAIM），该模型可以同时对不同偏置程度的混合数据进行自适应地交互学习．具体来说，首先通过引入陆地移动距离（earth mover’s distance，EMD）对各客户端的数据分布进行偏置程度度量（bias measurement），并设计极偏服务器和非极偏服务器两个模块分别处理不同偏置程度的数据分布．其次，提出了基于信息熵的模型参数交互机制，使得FedAIM可以有效地聚合极偏服务器和非极偏服务器产生的模型参数，从而有效提高模型的准确率和减少服务器之间的交互轮次．经实验表明，FedAIM在Non-IID混合数据分布场景下的MNIST，Fashion-MNIST，CIFAR-10，SHVN，FEMNIST数据集上准确率均优于已有方法．

• 单位
  哈尔滨工业大学（深圳）; 鹏城实验室