机器学习系统面临的安全攻击及其防御技术研究

作者：于颖超^*; 丁琳; 陈左宁

来源：信息网络安全, 2018, (09): 10-18.

• 机器学习
• 数据污染
• 逃逸攻击
• 模型推理

研究表明,几乎机器学习系统管道的各个阶段都有可能遭遇数据污染攻击、对学习算法及依赖库的攻击、逃逸攻击、模型窃取及模型推理攻击等。这些攻击不仅会影响机器学习系统的学习过程,而且还可能影响模型的性能或使系统在特定输入下出现攻击者想要模型出现的错误,从而影响模型的精度。因此,理解机器学习算法和系统的安全性,并探索它们的安全改进方法越来越成为计算机安全和机器学习交叉领域的一个研究方向。文章首先定义了机器学习系统管道,然后对管道上各点可能遭受的攻击及潜在的解决方案进行了研究,最后对全文进行了总结并对下一步的研究方向进行了展望。