基于低秩分解和向量量化的深度网络压缩方法

作者：王东炜; 刘柏辰; 韩志; 王艳美; 唐延东

来源：计算机应用, 2023, 1-9.

• 卷积神经网络
• 张量分解
• 向量量化
• 模型压缩
• 图像分类

随着人工智能的发展，深度神经网络成为了多种模式识别任务中必不可少的工具，由于卷积神经网络拥有巨大的参数量和计算复杂度，如何将其部署在计算资源和存储空间受限的边缘计算设备上成为了一项挑战。因此，深度网络压缩成为了近年来的研究热点。低秩分解与向量量化是深度网络压缩中重要的两个研究分支，两种方法的核心思想都是通过找到原网络结构的一种紧凑型表达，从而降低网络参数的冗余程度。通过建立联合压缩框架，提出了一种基于低秩分解和向量量化的深度网络压缩方法，该方法能够在网络低秩结构的基础上实现进一步的量化，从而实现更大的压缩比。在CIFAR-10和CIFAR-100数据集上对经典Res Net进行验证，实验结果表明，所提方法能够在准确率仅损失1.71个百分点的情况下，将网络体积压缩至原来的1%;在大型数据集ImageNet上与其他具有代表性的深度网络压缩方法进行比较与分析，实验结果表明所提方法能够在超大压缩比下保持更好的模型性能，验证了方法的有效性和卓越性。

• 单位
  中国科学院大学; 中国科学院沈阳自动化研究所; 机器人学国家重点实验室