基于MB-K-Means的网络模型参数压缩

作者：陈华裔

来源：电脑知识与技术, 2019, 15(06): 157-158.

DOI：10.14004/j.cnki.ckt.2019.0658

• 网络参数
• MB-K-Means算法
• 卷积网络
• 参数压缩

深度学习目前是计算机领域研究热点之一,而神经网络是深度学习不可缺少的一部分,然而深度网络模型参数巨大,导致迁移学习困难,硬件需求条件巨大。该文提出了一种基于MB-K-Means算法对权重进行聚类,并进行量化的压缩方法。首先,对模型的参数权进行剪枝,并进行稀疏训练恢复其精度。第二,基于MB k-means算法进行权重聚类,然后权重量化共享。利用算法能够增加网络的训练速度,在深度卷积神经网络上进行参数压缩,减少网络模型大小。实验表明,在ImageNet-1000数据集上,AlexNet模型缩小了31倍,VGG模型的缩小了45倍。

• 单位
  广东工业大学