自适应聚合和代价自学习的多视图立体重建

作者：张晓燕; 陈祥; 郭颖

来源：探测与控制学报, 2023, 45(04): 142-149.

• 多视图立体
• 自适应聚合
• 代价自学习
• 可变形卷积

近年来，基于卷积神经网络的多视图立体(MVS)重建应用广泛，可依然存在重建结果整体性和完整性不理想问题，对多视图三维重建中的特征提取模块和匹配代价体优化模块进行改进，提出一种自适应聚合和代价自学习的多视图立体重建方法。首先，从输入图像中提取不同尺度图像特征，通过可变性卷积把不同尺度图像特征自适应聚合，以提高特征提取的准确度和丰富度；然后，通过可微分单应性变换构建匹配代价并进行正则化，再通过代价自学习模块进一步优化，进而得出每个像素在不同深度假设平面的概率值；最后，将深度假设平面和概率值加权求和得到最终的深度图。经过在DTU数据集上进行测试，与现有的基准方法MVSNet相比，整体性提高了3.0%,完整性提高了10.7%,得到了质量更优的三维重建结果。

• 单位
  厦门大学; 厦门大学嘉庚学院; 西安机电信息技术研究所