高效检测复杂场景的快速金字塔网络SPNet

作者：李鑫泽; 张轩雄^*; 陈胜

来源：中国图象图形学报, 2020, 25(05): 977-992.

• 计算机视觉
• 深度学习
• 复杂目标检测
• one-stage网络
• 光流法

目的针对现今主流one-stage网络框架在检测高帧率视频中的复杂目标场景时,无法兼顾检测精度和检测效率的问题,本文改进one-stage网络架构,并使用光流跟踪特征图,提出一种高效检测复杂场景的快速金字塔网络(snap pyramid network,SPNet)。方法调查特征提取网络以及金字塔网络内部,实现特征矩阵及卷积结构完全可视化,找到one-stage网络模型有效提升检测小目标以及密集目标的关键因素;构建复杂场景检测网络SPNet,由骨干网络(MainNet)内置子网络跟踪器(Track Net)。在MainNet部分,设计特征权重控制(feature weight control,FWC)模块,改进基本单元(basic block),并设计MainNet的核心网络(Back Bone)与特征金字塔网络(feature pyramid network,FPN)架构结合的多尺度金字塔结构,有效提升视频关键帧中存在的小而密集目标的检测精度和鲁棒性;在Track Net部分,内置光流跟踪器到Back Bone,使用高精度的光流矢量映射Back Bone卷积出的特征图,代替传统的特征全卷积网络架构,有效提升检测效率。结果 SPNet能够兼顾小目标、密集目标的检测性能,在目标检测数据集MS COCO(Microsoft common objects in context)和PASCAL VOC上的平均精度为52. 8%和75. 96%,在MS COCO上的小目标平均精度为13. 9%;在目标跟踪数据集VOT(visual object tracking)上的平均精度为42. 1%,检测速度提高到50～70帧/s。结论本文快速金字塔结构目标检测框架,重构了one-stage检测网络的结构,利用光流充分复用卷积特征信息,侧重于复杂场景的检测能力与视频流的检测效率,实现了精度与速度的良好平衡。

• 单位
  上海理工大学