联邦无监督表示学习（英文）

作者：张凤达; 况琨^*; 陈隆; 游兆阳; 沈弢; 肖俊; 张寅; 吴超; 吴飞; 庄越挺; 李晓林

来源：Frontiers of Information Technology & Electronic Engineering, 2023, 24(08): 1181-1194.

• 联邦学习
• 无监督学习
• 表示学习
• 对比学习

为利用分布式边缘设备上大量未标记数据，我们在联邦学习中提出一个称为联邦无监督表示学习(FURL)的新问题，以在没有监督的情况下学习通用表示模型，同时保护数据隐私。FURL提出了两个新挑战：（1）客户端之间的数据分布转移（非独立同分布）会使本地模型专注于不同的类别，从而导致表示空间的不一致；（2）如果FURL中客户端之间没有统一的信息，客户端之间的表示就会错位。为了应对这些挑战，我们提出带字典和对齐的联合对比平均(Fed CA)算法。FedCA由两个关键模块组成：字典模块，用于聚合来自每个客户端的样本表示并与所有客户端共享，以实现表示空间的一致性；对齐模块，用于将每个客户端的表示与基于公共数据训练的基础模型对齐。我们采用对比方法进行局部模型训练，通过在3个数据集上独立同分布和非独立同分布设定下的大量实验，我们证明FedCA以显著的优势优于所有基线方法。

• 单位
  中国科学院; 浙江大学