基于金字塔知识的自蒸馏HRNet目标分割方法

作者：郑云飞; 王晓兵; 张雄伟; 曹铁勇^*; 孙蒙

来源：电子学报, 2023, 51(03): 746-756.

• 自蒸馏学习
• 并行结构网络
• 多尺度池化金字塔
• 结构化相似性
• 目标分割

知识蒸馏能有效地将教师网络的表征能力迁移到学生网络，无须改变网络结构即可提升网络的性能.因此，在性能优异的目标分割主干网HRNet(High-Resolution Net)中构建自蒸馏学习模型具有重要意义.针对HRNet并行结构中深层与浅层信息充分融合导致直接蒸馏难以实现的挑战，本文提出一种基于多尺度池化金字塔的结构化自蒸馏学习模型：在HRNet分支结构中引入多尺度池化金字塔表示模块，提升网络的知识表示和学习能力；构造“自上而下”和“一致性”两种蒸馏模式；融合交叉熵损失、KL(Kullback-Leibler)散度损失和结构化相似性损失进行自蒸馏学习.在四个包含显著性目标和伪装目标的分割数据集上的实验表明：本文模型在不增加资源开销的前提下，有效提升了网络的目标分割性能.

• 单位
  中国人民解放军陆军炮兵防空兵学院; 中国人民解放军陆军工程大学