基于半稠密COLMAP自监督单目内窥镜深度估计

作者：曹政涛; 黄文丰; 宁志刚; 廖祥云; 熊雪颖; 王琼

来源：南华大学学报(自然科学版), 2021, 35(05): 52-62.

DOI：10.19431/j.cnki.1673-0062.2021.05.009

• 单目内窥镜
• COLMAP
• 注意力模型
• 深度估计
• 自监督

在单目内窥镜场景下人体内组织表面纹理稀疏,视野受限给图像的深度估计带来了一定的困难。针对以上问题,提出了一种基于半稠密COLMAP(structure-from-motion and multi-view stereo generation pipeline)结合动态卷积注意力机制的自监督单目深度估计方法。通过改进的COLMAP进行图像序列预处理,产生加权半稠密深度图作为监督信号,该过程引入加权可靠度对半稠密深度图中的干扰点和不准确点进行丢弃或抑制操作,在训练网络中加入了具有动态卷积的注意力机制模型(Selective Kernel Networks, SKNet),这种注意力机制模型可以对输入的特征图进行动态卷积以获得更多感受野的信息,加强网络对特征的提取能力。在肝脏数据集上进行试验,结果表明,绝对相对差为0.135,阈值T<1.253时,准确率为0.985,对监督数据、SKNet模型进行了消融实验,证明了半稠密重建、SKNet模型以及加权半稠密深度图的有效性。

• 单位
  南华大学; 中国科学院; 武汉大学中南医院; 中国科学院深圳先进技术研究院