RGB-D双模态信息互补的语义分割网络

作者：王立春; 顾娜娜; 信建佳; 王少帆

来源：计算机辅助设计与图形学学报, 2023, 35(10): 1489-1499.

• RGB-D语义分割
• 注意力机制
• 编码器-解码器
• RGB-D信息互补
• 深度学习

为了充分融合RGB和深度信息以进一步提高语义分割精度,引入注意力机制实现了RGB与深度2个模态特征的互补融合.基于编码器-解码器框架,提出了RGB-D双模态信息互补的语义分割网络,编码器采用双分支结构分别提取RGB图像和深度图像的特征,解码器采用逐层跳跃连接的结构渐进地融合不同粒度的语义信息实现逐像素语义分类.编码器对2个分支学习到的低层特征,利用RGB-D信息互补模块进行互补融合.RGB-D信息互补模块包括Depth-guided Attention Module (Depth-AM)和RGB-guided Attention Module (RGB-AM) 2种注意力.其中, Depth-AM将深度信息补充给RGB特征,解决由于光照变化引起的RGB特征不准确问题;RGB-AM将RGB信息补充给深度特征,解决由于缺乏物体的纹理信息而导致的深度特征不准确问题.在采用相同结构backbone的条件下,RGB-D双模态信息互补的语义分割网络与RDF-Net相比,在SUNRGB-D数据集上的平均交并比,像素精度和平均精度分别提升1.8%, 0.5%和0.7%;在NYUv2数据集上的平均交并比,像素精度和平均精度分别提升1.8%, 1.3%和1.9%.

• 单位
  北京工业大学