科研之友
微信
新浪微博
Facebook
分享链接
摘要
为压缩网络剪枝过程中较大的搜索空间，从预训练深度神经网络中找到最佳的稀疏网络结构，本文提出一种基于遗传算法和知识蒸馏的分块压缩学习算法(CCLA).首先，在预定义压缩空间中将学生网络初始化为一个稀疏网络结构.然后，将教师网络和学生网络按层划分多个块网络，在教师网络的监督下对学生网络进行逐块压缩.最后，使用遗传算法搜索学生网络中每个块网络的稀疏结构.在CIFAR-10数据集上对VGG-16网络和ResNet-110网络的实验结果表明，本文所提方法性能表现良好，例如，在CIFAR-10数据集上对VGG-16进行压缩，可压缩掉87.82%的参数和70.4%的浮点运算(Floating Point of operations, FLOPs),而精度损失仅为0.37%.
