RGB-D语义分割：深度信息的选择使用

作者：赵经阳; 余昌黔; 桑农^*

来源：中国图象图形学报, 2022, 27(08): 2473-2486.

• 语义分割
• RGB-D
• 深度信息引导的特征选择(DFS)
• 深度信息嵌入的可变形卷积(DDC)
• 深度信息引导的特征提取(DFE)

目的 在室内场景语义分割任务中，深度信息会在一定程度上提高分割精度。但是如何更有效地利用深度信息仍是一个开放性问题。当前方法大都引入全部深度信息，然而将全部深度信息和视觉特征组合在一起可能对模型产生干扰，原因是仅依靠视觉特征网络模型就能区分的不同物体，在引入深度信息后可能产生错误判断。此外，卷积核固有的几何结构限制了卷积神经网络的建模能力，可变形卷积(deformable convolution, DC)在一定程度上缓解了这个问题。但是可变形卷积中产生位置偏移的视觉特征空间深度信息相对不足，限制了进一步发展。基于上述问题，本文提出一种深度信息引导的特征提取(depth guided feature extraction, DFE)模块。方法 深度信息引导的特征提取模块包括深度信息引导的特征选择模块(depth guided feature selection, DFS)和深度信息嵌入的可变形卷积模块(depth embedded deformable convolution, DDC)。DFS可以筛选出关键的深度信息，自适应地调整深度信息引入视觉特征的比例，在网络模型需要时将深度信息嵌入视觉特征。DDC在额外深度信息的引入下，增强了可变形卷积的特征提取能力，可以根据物体形状提取更相关的特征。结果 为了验证方法的有效性，在NYUv2(New York University Depth Dataset V2)数据集上进行一系列消融实验并与当前最好的方法进行比较，使用平均交并比(mean intersection over union, mIoU)和平均像素准确率(pixel accuracy, PA)作为度量标准。结果显示，在NYUv2数据集上，本文方法的mIoU和PA分别为51.9%和77.6%,实现了较好的分割效果。结论 本文提出的深度信息引导的特征提取模块，可以自适应地调整深度信息嵌入视觉特征的程度，更加合理地利用深度信息，且在深度信息的作用下提高可变形卷积的特征提取能力。此外，本文提出的深度信息引导的特征提取模块可以比较方便地嵌入当下流行的特征提取网络中，提高网络的建模能力。

• 单位
  自动化学院; 华中科技大学; 图像信息处理与智能控制教育部重点实验室