面向实际场景的人工智能脆弱性分析

作者：田鹏; 左大义; 高艳春; 陈海兵; 丁灏

来源：计算机技术与发展, 2021, 31(11): 129-135.

• 人工智能安全
• 安全威胁
• 深度学习
• 对抗样本
• 对抗检测

人工智能技术广泛应用于自动驾驶、无人机、机器人等自主无人系统,是实现场景感知、情报获取、辅助决策等复杂功能的重要支撑。因此,研究人工智能技术的脆弱性和本身安全性问题引起了越来越多的关注。对抗机器学习(adversarial machine learning)是机器学习和计算机安全领域的交叉学科,是人工智能算法普遍面临的挑战之一。文中以实际场景下的人工智能安全性为出发点,梳理了对抗样本发展的起源,形成的机理以及发展脉络。首先从攻击、防御两个方面探究各种方法的原理和优缺点;其次,在分析研究经典算法和适用场景的基础上,研究了在实际场景下智能技术面临的脆弱性和挑战;最后,针对在图像、语音、网络和软件应用等不同领域中所面临的挑战和未来发展趋势做了进一步的分析和展望。

• 单位
  中国电子科技集团公司第三十研究所