融合改进ASPP和极化自注意力的自底向上全景分割

作者：李新叶; 陈丁^*

来源：中国图象图形学报, 2023, 28(08): 2410-2419.

• 全景分割
• 语义分割
• 实例分割
• 极化自注意力
• ASPP

目的 针对ASPP(atrous spatial pyramid pooling)在空洞率变大时空洞（atrous）卷积效果会变差的情况，以及图像分类经典模型ResNet(residual neural network)并不能有效地适用于细粒度图像分割任务的问题，提出一种基于改进ASPP和极化自注意力的自底向上全景分割方法。方法 重新设计ASPP模块，将小空洞率卷积的输出与原始输入进行拼接（concat），将得到的结果作为新的输入传递给大空洞率卷积，然后将不同空洞率卷积的输出结果拼接，并将得到的结果与ASPP中的其他模块进行最后拼接，从而改善ASPP中因空洞率变大导致的空洞卷积效果变差的问题，达到既获得足够感受野的同时又能编码多尺度信息的目的；在主干网络的输出后引入改进的极化自注意力模块，实现对图像像素级的自我注意强化，使其得到的特征能直接适用于细粒度像素分割任务。结果 本文在Cityscapes数据集的验证集上进行测试，与复现的基线网络Panoptic-DeepLab(58.26%)相比，改进ASPP模块后分割精度PQ(panoptic quality)(58.61%)提高了0.35%，运行时间从103 ms增加到124 ms，运行速度没有明显变化；通过进一步引入极化自注意力，PQ指标（58.86%）提高了0.25%，运行时间增加到187 ms；通过对该注意力模块进一步改进，PQ指标（59.36%）在58.86%基础上又提高了0.50%，运行时间增加到192 ms，速度略有下降，但实时性仍好于大多数方法。结论 本文采用改进ASPP和极化自注意力模块，能够更有效地提取适合细粒度像素分割的特征，且在保证足够感受野的同时能编码多尺度信息，从而提升全景分割性能。

• 单位
  华北电力大学