面向异构网络的联邦优化算法

作者：曹桢淼; 邵亮; 赵文博

来源：工业控制计算机, 2023, 36(09): 10-12.

• 联邦学习
• 联合牛顿型方法
• 自适应优化器
• 数据异构

联邦学习网络中，全局模型的聚合训练常因边缘设备端的统计异构性而存在收敛问题。针对高度异构环境的适应性问题，提出一种面向异构网络的联邦优化算法q-FedDANE。首先，通过在经典联合近似牛顿型方法中引入衰减参数q，调整衰减梯度校正项和近端项的负面影响，有效提高模型对环境异构性的感知能力，并将每轮算法迭代的设备通信轮次降低至一次，显著减少通信成本和训练开销；其次，模型将随机优化器Adam引入服务器端聚合训练，通过自适应的动态学习率来利用全局信息进行目标优化，加快了模型的收敛速度。实验表明，q-FedDANE算法可以更好地适应环境异构和低设备参与的场景，在高度异构的FEMNIST数据集上，该算法最终获得的测试精度约高出FedDANE的58%。

• 单位
  江南大学; 中国航空工业集团公司雷华电子技术研究所