基于知识回顾与特征解耦的目标检测蒸馏

作者：张瑶; 潘志松^*

来源：计算机应用研究, 2023, 40(05): 1542-1547.

DOI：10.19734/j.issn.1001-3695.2022.09.0430

• 知识蒸馏
• 目标检测
• 知识回顾
• 特征解耦

当前的知识蒸馏算法均只在对应层间进行蒸馏，为了解决这一问题，提高知识蒸馏的性能，首先分析了教师模型的低层特征对学生模型高层特征的指导作用，并在此基础上提出了基于知识回顾解耦的目标检测蒸馏方法。该方法首先将学生模型的高层特征与低层特征对齐、融合并区分空间和通道提取注意力，使得学生的高层特征能够渐进式地学到教师的低层和高层知识；随后将前背景解耦，分别蒸馏；最后通过金字塔池化在不同尺度上计算其与教师模型特征的相似度。在不同的目标检测模型上进行了实验，实验表明，提出的方法简单且有效，能够适用于各种不同的目标检测模型。骨干网络为ResNet-50的RetinaNet和FCOS分别在COCO2017数据集上获得了39.8%和42.8%的mAP,比基准提高了2.4%和2.3%。

• 单位
  中国人民解放军陆军工程大学