基于自注意力机制的多阶段无监督单目深度估计网络

作者：刘香凝; 赵洋; 王荣刚^*

来源：信号处理, 2020, 36(09): 1450-1456.

DOI：10.16798/j.issn.1003-0530.2020.09.009

• 无监督学习
• 单目深度估计
• 多阶段网络
• 自注意力

单幅图像的深度估计是场景几何理解过程中的一个重要步骤,但由于尺度模糊,也被计算机视觉领域普遍认为是一个典型的不适定问题。近年来,尽管监督学习方法在单目深度估计中取得了基本令人满意的效果,但需要对数据集进行大量真实深度值的标记,这是一项成本较高的工作。此外,由于物体的运动、遮挡、光照等常见问题,单目深度估计的表现并不尽如人意,尤其是在物体边缘和弱纹理区域。为了解决这些问题,本文提出了一种基于自注意力的多阶段无监督单目深度估计网络。该方法具有以下特点:1)多阶段网络结构对训练过程中的深度估计具有较强的约束和监督作用;2)通过掩模加权重构损失和左右视差一致性损失对网络进行优化;3)采用自注意力机制捕捉更多上下文信息,进而提升预测结果。实验结果表明,该方法在KITTI数据集上的深度估计效果达到甚至超过了已有方法。

• 单位
  合肥工业大学; 鹏城实验室; 北京大学深圳研究生院