科研之友
微信
新浪微博
Facebook
分享链接
摘要
基于视图的三维重建旨在从二维图像恢复出其对应的三维形状。现有方法主要通过编码器-解码器结构，结合二元交叉熵函数及其变形，完成三维重建，取得较好的重建结果。然而，编码器在编码过程中缺乏对输入视图的结构感知能力，造成重建的三维模型几何细节不准确；以二元交叉熵函数为主的损失函数在体素分布不均衡的情况下，目标感知能力较差，导致其重建结果存在断裂、缺失等不完整性问题。针对此类问题，提出了一种具有结构和目标感知能力的三维重建网络(ST-Rec3D)，以单视图或多视图为输入，由粗到细地重建出三维模型；结合注意力机制提出了一种具有空间结构感知能力的编码器，即结构编码器，以充分捕捉输入视图中的空间结构信息，有效感知重建物体的几何细节；将IoU损失引入到三维体素模型重建中，在体素分布不均衡的情况下，精准感知目标物体，确保重建物体的完整性和准确性。在ShapeNet和Pix3D数据集上的对比结果表明，ST-Rec3D在单视图和多视图上重建的三维模型的完整性和准确性均优于当前方法。
- 单位
