基于深度估计与自我运动联合优化的三维重建

作者:田方正; 高永彬*; 方志军; 顾佳
来源:传感器与微系统, 2022, 41(10): 39-46.
DOI:10.13873/J.1000-9787(2022)10-0039-04

摘要

机器人安全导航或执行高级任务时需要稠密的三维重建。图像准确的深度信息以及位姿是三维重建的基础。RGB-D相机获得的深度图的分辨率较低、精度有限,而且RGB-D相机易受玻璃或者纯黑色物体的影响,传统的位姿计算方法不够准确。为了解决这些问题,提出了一种三维重建系统,使用神经网络预测RGB图像的深度以及位姿,然后进行重建。针对物体的轮廓会对深度图的最终预测起决定性作用的问题,提出了轮廓损失函数。针对RGB图像易受光线以及噪声影响的问题,首次增加了RGB图像的特征图作为网络的输入。设计了特征损失来联合优化深度估计和自我运动。在TUM RGB-D,ICL-NUIM数据集上,明显提高了深度图的质量、定位结果以及三维重建的效果。

全文