深度卷积神经网络压缩与加速研究进展

作者：艾祖鹏; 刘雨帆; 阮晓峰; 李兵

来源：中国基础科学, 2022, 24(03): 1-9.

DOI：10.3969/j.issn.1009-2412.2022.03.001

• 深度卷积神经网络
• 压缩与加速
• 结构化剪枝
• 量化
• 低秩近似分解
• 知识蒸馏

数据、算力和算法是人工智能技术的3个要素，对于人工智能技术的落地，这三者相辅相成，缺一不可。近年来，随着移动互联网和高性能芯片的发展，深度神经网络在人工智能领域取得重大突破。为了追求更高的性能，研究者往往设计复杂冗余的网络结构，如增加宽度和层数，使网络的参数和计算量大大增加。当这些算法面对资源受限的设备时，算力会严重制约人工智能技术的落地。因此，深度神经网络压缩与加速作为人工智能领域的一个热点问题，受到产业界和学术界的关注，提出的解决方案层出不穷。本文对这一领域的研究现状进行总结。首先，介绍深度卷积神经网络的结构设计，包括高精度卷积神经网络手工设计、面向移动端轻量化卷积神经网络手工设计和卷积神经网络自动化设计。其次，总结深度神经网络压缩与加速相关方法，包括参数稀疏、结构化剪枝、低秩近似分解、量化和知识蒸馏5个方面。再次，对一些相关开源框架及会议研习会进行总结。最后，对模型压缩与加速的发展进行展望。

• 单位
  模式识别国家重点实验室; 中国科学院大学; 中国科学院自动化研究所