深度学习的可解释性研究综述

作者：李凌敏; 侯梦然; 陈琨; 刘军民^*

来源：计算机应用, 2022, 42(12): 3639-3650.

• 深度学习
• 可解释性
• 隐层可视化
• 类激活映射
• 频率原理
• 可解释模块
• 信息论

近年来，深度学习在很多领域得到广泛应用；然而，由于深度神经网络模型的高度非线性操作，导致其可解释性较差，并常常被称为“黑箱”模型，无法应用于一些对性能要求较高的关键领域；因此，对深度学习的可解释性开展研究是很有必要的。首先，简单介绍了深度学习；然后，围绕深度学习的可解释性，从隐层可视化、类激活映射（CAM）、敏感性分析、频率原理、鲁棒性扰动测试、信息论、可解释模块和优化方法这8个方面对现有研究工作进行分析；同时，展示了深度学习在网络安全、推荐系统、医疗和社交网络领域的应用；最后，讨论了深度学习可解释性研究存在的问题及未来的发展方向。

• 单位
  西安交通大学