科研之友
微信
新浪微博
Facebook
分享链接
摘要
RGB-D图像在提供场景RGB信息的基础上添加了Depth信息,可以有效地描述场景的色彩及三维几何信息。结合RGB图像及Depth图像的特点,提出一种将高层次的语义特征反向融合到低层次的边缘细节特征的反向融合实例分割算法。该方法通过采用不同深度的特征金字塔网络(FPN)分别提取RGB与Depth图像特征,将高层特征经上采样后达到与最底层特征同等尺寸,再采用反向融合将高层特征融合到低层,同时在掩码分支引入掩码优化结构,从而实现RGB-D的反向融合实例分割。实验结果表明,反向融合特征模型能够在RGB-D实例分割的研究中获得更加优异的成绩,有效地融合了Depth图像与彩色图像2种不同特征图像特征,在使用ResNet-101作为骨干网络的基础上,与不加入深度信息的Mask R-CNN相比平均精度提高10.6%,比直接正向融合2种特征平均精度提高4.5%。
- 单位
