注意力引导多模态融合的RGB-D图像分割

作者：靳瑜昕; 杨晓文^*; 张元; 焦世超; 文阳晖; 王爱兵

来源：计算机工程与设计, 2022, 43(12): 3453-3460.

DOI：10.16208/j.issn1000-7024.2022.12.020

• RGB-D图像
• 语义分割
• 注意力机制
• 多模态融合
• 深度学习
• 特征提取
• 编码器-解码器

为提高图像分割效率，提出注意力引导多模态交叉融合分割网络(ACFNet)。采用编码器-解码器结构，设计非对称双流特征提取网络，RGB和深度编码器分别以ResNet-101和ResNet-50为主干网络，并在RGB编码器中添加全局-局部特征提取模块(GL)。为有效融合RGB和深度特征，提出注意力引导多模态交叉融合模块(ACFM),在多阶段利用融合的增强特征表示。实验结果表明，ACFNet在室内场景分割数据集NYUD V2上的平均交并比(mIou)达到了51.5%,与先进的语义分割算法相比，显著提高了分割性能。

• 单位
  中北大学