科研之友
微信
新浪微博
Facebook
分享链接
摘要
知识蒸馏是用于压缩深度神经网络的一种有效方法，但是由于用户数据隐私保护、数据机密性或传输的限制，很多时候人们无法获取到原始数据。现有的无数据知识蒸馏方法仅使用单教师模型进行有偏特征统计，生成的数据和原始数据相比存在着多样性和泛化性差问题，从而导致压缩后模型的准确率不高。为了解决此类问题，本文提出了一种多教师对比知识反演的无数据模型压缩方法，该方法从多个可用的教师模型中提取知识并将其融合到学生模型中，以消除模型有偏统计带来的偏差，增强了合成图片的泛化性。进一步，为防止合成的图像样式单一，本文采用对比学习的策略将当前批次生成的图像与历史的图像进行对比来使得生成器合成与历史不相似的图片。同时，利用生成器和学生网络能够学习不同网络视角下表征的关系，提出教师-学生对比的策略，使得生成器学到的图片拥有更好的表征。通过实验表明，本方法不仅生成视觉上令人满意的图像，而且在多个指标上优于现有的方法。生成的合成图像更接近原始数据集的分布，而且只需要一次生成的图片数据集就能泛化用于不同模型训练。
- 单位
