随着卷积神经网络的快速发展，研究者不断加深或加宽网络的结构以追求更高精度，但这种方式会带来延迟和计算成本的增加。在带有多分支结构的自蒸馏方法中存在浅层网络不能充分学习深层网络性能的问题。因此，提出一种基于多分支的自蒸馏方法（SDA），将网络中所有分支的集成结果作为教师指导最后分支的输出，同时用最后分支输出指导其他分支，使得模型更好更早地退出网络。实验结果表明，该方法在ResNet一系列模型上取得了0.46%～1.51%的精度提升。
科研之友
微信
新浪微博
Facebook
分享链接
