基于Fastformer和自监督对比学习的实例分割算法

作者：高榕; 沈加伟; 邵雄凯; 吴歆韵

来源：计算机应用, 2022, 1-12.

• 实例分割
• 特征提取
• Fastformer
• 加性注意力
• 自监督对比学习

针对现有实例分割算法Deep Snake、SOLOv2（Segmenting Objects by Locations v2）等对有遮挡以及模糊实例检测精度低、掩码较粗糙以及泛化能力较弱的问题，提出了一种基于Fastformer和自监督对比学习的实例分割算法。首先，在特征提取网络之后加入基于加性注意力（Additive Attention）的Fastformer模块，对每一层特征图中的像素点之间的相互关系进行深入建模，以加强对特征图全局信息的提取能力；其次，受自监督学习启发，加入自监督对比学习模块，对图像中的实例之间进行自监督对比学习，加强算法对图片的理解能力，以提高在噪声干扰较多的环境下的分割效果。所提算法在Cityscapes数据集上的均值平均精度、置信度大于50目标的平均精度分别达到了35.7%和62.3%；在COCO2017数据集上的均值平均精度、小目标平均精度、中等目标平均精度、大面积目标平均精度分别达到了40.7%、21.3%、43.9%、57.5%。实验结果表明，在均值平均精度指标上，所提算法在Cityscapes数据集和COCO2017数据集上比经典的实例分割算法SOLOv2分别提高了3.1个百分点和2.5个百分点，且在实时性和准确性之间达到较好的平衡，在比较复杂的场景实例分割中具有较好的鲁棒性。

• 单位
  南京大学; 计算机软件新技术国家重点实验室; 湖北工业大学