科研之友
微信
新浪微博
Facebook
分享链接
摘要
针对目前知识蒸馏忽略特征图全局统计信息的问题，提出利用离散余弦变换(DCT)频域释义的全局统计特征知识，并对各类别的频域特征使用Logistic分类器进行二分类，提取类间差异性信息.利用元学习算法(MPL)对教师模型参数进行更新，使教师模型能动态调整所传递的频域特征.实验模型在CIFAR-10,CIFAR-100以及ImageNet 2012数据集上有0.12%～0.16%的精度提升，结果表明，频域特征与类间相似性信息为学生模型的训练提供更多有用的知识，且两模型的知识交互更有利于教师的知识迁移.
- 单位
