<正>蒸馏是一种让较少参数的学生模型学习大型教师模型知识的有效方法,然而这样高性能的教师模型往往很难获得。因此,一些研究人员提出了一种让每个学生模型相互学习的策略,以取代传统的师生学习范式。虽然这种方法最近取得了良好的效果,但学生网络之间的相互学习很容易提前达到饱和。故此提出了一种基于互学习的在线蒸馏系统(MLS)用于在线知识蒸馏,该系统为每个学生模型提出了一个权重评估机制(LFS)和一个虚拟教师。
科研之友
微信
新浪微博
Facebook
分享链接
