科研之友
微信
新浪微博
Facebook
分享链接
摘要
构建一个能够在在线集成与网络协作的统一蒸馏框架，加强学生网络的差异性和增加知识的多样性模型，提出一种同伴协作学习的目标分布式在线知识蒸馏方法。该方法在同伴协作学习方法的基础上，让每个同伴都从1个目标分布中学习，得到1组由基于注意力机制生成的单独的聚合权重，并从其他同伴的预测中获得自己的目标，以提高基于集成的蒸馏的有效性。CIFAR-10和CIFAR-100的实验结果表明，最好状态下，本文提出的方法的top-1错误率比ONE提高了1.45%，各种主干网络的模型性能均有提高，证明该方法是有效、可行的。
- 单位
