机器学习系统的隐私和安全问题综述

作者：何英哲; 胡兴波; 何锦雯; 孟国柱^*; 陈恺

来源：计算机研究与发展, 2019, 56(10): 2049-2070.

• 机器学习安全
• 深度学习安全
• 攻防竞赛
• 对抗攻击
• 成员推理攻击
• 隐私保护

人工智能已经渗透到生活的各个角落,给人类带来了极大的便利.尤其是近年来,随着机器学习中深度学习这一分支的蓬勃发展,生活中的相关应用越来越多.不幸的是,机器学习系统也面临着许多安全隐患,而机器学习系统的普及更进一步放大了这些风险.为了揭示这些安全隐患并实现一个强大的机器学习系统,对主流的深度学习系统进行了调查.首先设计了一个剖析深度学习系统的分析模型,并界定了调查范围.调查的深度学习系统跨越了4个领域——图像分类、音频语音识别、恶意软件检测和自然语言处理,提取了对应4种类型的安全隐患,并从复杂性、攻击成功率和破坏等多个维度对其进行了表征和度量.随后,调研了针对深度学习系统的防御技术及其特点.最后通过对这些系统的观察,提出了构建健壮的深度学习系统的建议.

• 单位
  中国科学院信息工程研究所; 中国科学院大学; 信息安全国家重点实验室