摘要

相比于传统的二维RGB图像的语义分割,使用具有三维信息的RGBD图像,可以提高算法的精度。于是,研究深度图信息如何引入至关重要。采用非对称融合模块,在融入深度图信息时降低其噪声带来的负面影响,并在融合前使用通道注意力模块对深度图信息以及RGB信息进行处理,使通道信息得到有效过滤。另外,针对像素之间的关联性不易利用的问题,利用自注意力机制的思想设计了关联上下文模块,用来联合感知并编码多模态深层特征。通过将模块集成到一个双通路的编码解码结构的基本网络模型中,并在NYU-Depth v2室内语义分割数据集上做了测试,取得了不错的分割效果。