基于Mask R-CNN和多特征融合的实例分割

作者：姜世浩; 齐苏敏; 王来花; 贾惠

来源：计算机技术与发展, 2020, 30(09): 65-70.

• 实例分割
• 深度学习
• Mask R-CNN
• 全卷积网络
• 特征融合

为了能够充分地利用图像特征信息,提升实例分割的效果,提出了一种基于Mask R-CNN网络结构和多特征融合的实例分割模型。首先,在Mask R-CNN模型的基础上引入两条分支:一条基于整体嵌套边缘检测(HED)模型的边缘检测分支生成偏重于边缘信息的边缘特征图,一条基于全卷积网络(FCN)的语义分割分支生成偏重于空间位置信息的语义特征图。然后,在进行感兴趣区域对齐(ROIAlign)时,为了充分利用特征金字塔的各层信息,将感兴趣区域(ROI)同时映射到相应的金字塔层及其相邻层。最后,融合以上得到的多个特征图,生成信息更加丰富的新特征用于后续的检测和分割任务。实验结果表明,该方法有效提高了检测和分割的准确性。在使用Resnet50-FPN作为骨干网络且没有附加条件的情况下,与Mask R-CNN相比,该模型的检测和分割平均精度(mAP)分别提升了1.2%和1.0%。

• 单位
  曲阜师范大学