科研之友
微信
新浪微博
Facebook
分享链接
摘要
联邦学习允许参与训练的各方在不共享自己数据的前提下，实现协同建模，其数据隔离策略在一定程度上保障了用户数据的隐私安全，有效缓解了数据孤岛问题。然而，联邦学习的训练过程涉及参与者和服务器之间大量的参数交互，仍存在隐私泄露风险。为解决联邦学习数据传输过程中的隐私保护问题，提出了一种基于自适应裁剪的差分隐私联邦学习ADP＿FL框架。在该框架中，各参与方使用自己的数据在本地执行多次迭代来训练模型，在每个迭代中自适应地选取裁剪阈值对梯度进行裁剪，将梯度限制在一个合理范围内；仅向上传的模型参数中添加动态的高斯噪声，以掩藏各参与者的贡献，服务器聚合接收到的噪声参数来更新全局模型。自适应梯度裁剪策略不仅可以实现对梯度的合理校准，同时裁剪阈值作为敏感度当中的一项参数，通过动态改变敏感度来控制着添加的噪声规模。理论分析和实验表明，所提出的框架在强隐私约束下，仍能够实现良好的模型精度。
- 单位
