科研之友
微信
新浪微博
Facebook
分享链接
摘要
针对目前深度卷积神经网络规模大、计算复杂度高、对存储空间需求大等问题，提出一种基于融合多级注意力迁移的神经网络的压缩方法。该方法基于教师-学生网络结构，设计了新的注意力图融合的方式以及注意力在教师网络与学生网络之间的迁移策略，使学生网络能够学习教师网络中的注意力信息，以此来提升学生网络的准确率。所提出的方法在CIFAR数据集上进行实验，实验结果表明，在学生网络规模和教师网络规模相差一半以上的情况下，准确率仅下降了1.5%～2.5%。
-
单位北京信息科技大学; 自动化学院
