科研之友
微信
新浪微博
Facebook
分享链接
摘要
联邦学习作为一种分布式机器学习框架，客户端可以在不向服务器传输数据的情况下进行全局模型训练，解决了数据分散和数据隐私的问题.它可以在具有相似数据特征和分布的客户端上很好地工作.但是在很多场景中，客户端数据在分布、数量和概念上的不同，造成了全局模型训练困难.为此，个性化联邦学习作为一种新的联邦学习范式被提出.它旨在通过客户端与服务器的协作来保证客户端个性化模型的有效性.直观来讲，为具有相似数据特征和分布的客户端提供更紧密的协作关系可以有利于个性化模型的构建.然而，由于客户端数据的不可见性，如何细粒度的提取客户端特征，并定义它们之间的协作关系是一个挑战.设计了一个注意力增强元学习网络来解决这个问题.它可以利用客户基础模型参数作为输入特征，训练元学习网络为每个客户端提供一个额外的元模型，自动分析客户特征相似性.基于双层网络设计，有效的实现客户端个性与共性的权衡，提供了包含有益客户信息的融合模型.考虑到训练过程中需要同时训练元学习网络和客户本地基础网络，设计了一种交替训练策略，以端到端的方式进行训练.为了证明该方法的有效性，在2个基准数据集和8个基准方法上进行了大量实验，相较于现有表现最优的个性化联邦学习方法，该方法在2个数据集中平均提升了分别提升了3.39%和2.45%的模型性能.
- 单位
