自适应差分隐私的高效深度学习方案

作者:王玉画; 高胜; 朱建明*; 黄晨
来源:西安电子科技大学学报, 2023, 50(04): 54-64.
DOI:10.19665/j.issn1001-2400.2023.04.006

摘要

深度学习在诸多领域取得成功的同时,也逐渐暴露出严重的隐私安全问题。作为一种轻量级隐私保护技术,差分隐私通过对模型添加噪声使得输出结果对数据集中的任意一条数据都不敏感,更适合现实中个人用户隐私保护的场景。针对现有大多差分隐私深度学习方案中迭代次数对隐私预算的依赖、数据可用性较低和模型收敛速度较慢等问题,提出了一种自适应差分隐私的高效深度学习方案。首先,基于沙普利加性解释模型设计了一种自适应差分隐私机制,通过对样本特征加噪使得迭代次数独立于隐私预算,再利用函数机制扰动损失函数,从而实现对原始样本和标签的双重保护,同时增强数据可用性。其次,利用自适应矩估计算法调整学习率来加快模型收敛速度。并且,引入零集中差分隐私作为隐私损失统计机制,降低因隐私损失超过隐私预算带来的隐私泄露风险。最后,对方案的隐私性进行理论分析,并在MNIST和Fashion-MNIST数据集上通过对比实验,验证了所提方案的有效性。

全文