基于Unity3D三维多视角虚拟数据集构建

作者：**桀; 罗健欣^*; 陈卫卫; 潘志松; 张艳艳; 孙海迅

来源：计算机技术与发展, 2023, 33(05): 173-179.

• 计算机视觉
• 三维重建
• Unity3D
• 虚拟数据集
• DTU

基于深度学习的多视角三维重建(Multi View Stereo, MVS)是计算机视觉领域的研究热点。但构建高质量的多视角三维重建数据集需要消耗大量时间、人力和财力成本，因此当前可直接应用于多视角三维重建的数据集相对较少。为了降低数据集制作成本、提高制作效率，文章提出了一种有效的虚拟世界仿真现实世界的方法。通过Unity3D虚拟引擎，融合域适应和域随机方法，搭建三维虚拟场景，自动高效生成三维多视角虚拟数据(相机图像、相机参数和场景深度图),在此基础上构建了多视角三维重建虚拟数据集Visual DTU。实验结果表明，使用虚拟数据集可大幅降低数据集制作的经济和时间成本，且基本能取得与采用真实数据集训练相同的三维重建效果；通过增加虚拟数据集训练样本或混合虚拟数据集和真实数据集进行模型训练，可进一步提升模型性能。

• 单位
  中国人民解放军陆军工程大学