基于空间传播的多视图三维重建

作者：张锡英; 孙守东; 于海浩; 边继龙^*

来源：计算机工程, 2023, 1-11.

DOI：10.19678/j.issn.1000-3428.0068126

• 立体视觉
• 空间传播
• 稠密点云重建
• 注意力机制
• 深度估计

针对多视图三维重建任务中完整性欠佳的问题，提出了基于空间传播的多视图深度估计网络（SP-MVSNet）。该方法引入空间传播思想用于复杂条件下的稠密点云重建，并分别设计了基于空间传播的混合深度假设策略和空间感知优化模块。混合深度假设策略采用由粗糙到精细的深度推理方式，将深度估计视为多标签分类任务，对正则化概率体执行交叉熵损失约束代价体，以避免回归方法过拟合和收敛速度过慢的问题。空间感知优化模块从包含高级语义特征表示的特征图中获得引导，在进行置信度检查后采用卷积空间传播网络通过构建亲和矩阵细化最终的深度图。同时，为解决大多数方法存在对不满足多视图一致性的不可靠区域重建质量较低的问题，本研究进一步结合注意力机制设计了具有样本自适应能力的动态特征提取网络，用于增强模型的局部感知能力。实验结果表明，所提方法在DTU数据集上，相比于CVP-MVSNet，重建完整性提升37.5%，整体质量提升11.4%。在Ta-nks and Temples基准和BlendedMVS数据集上的表现也优于大多数已知方法，展现出卓越的性能水平。

• 单位
  东北林业大学; 黑龙江工程学院