基于RGBD图像的实例分割方法及装置、检测系统

作者：吕淑静; 吕岳; 周浙泉; 屠晓

来源：2021-05-14, 中国, CN202110528794.9.

本申请涉及一种基于RGBD图像的实例分割方法及装置,包括：获取当前具体场景的当前RGB图像和实际深度信息；基于卷积神经网络的残差网络作卷积运算后输出四个不同阶段的特征图；得到特征图上每个点属于某个类别中心点的类别概率以及可以表示该实例的一个动态卷积核；并获取该点对应的物体的一个分割掩码,选取类别概率大于第二参考阈值的作为最终输出结果,进而实现精确的实现实例分割。本发明创新性地将深度信息分两次使用,其一为在特征提取阶段作为RGB的辅助信息与RGB信息逐步融合；其二通过动态深度坐标卷积增强特征图蕴含的空间位置信息。因此,相较于传统只基于RGB分割模型能实现更为精确的实例分割。

• 单位
  华东师范大学