科研之友
微信
新浪微博
Facebook
分享链接
摘要
针对目前逆渲染监督学习方法难以获得标签、泛化能力差的问题，提出了一种基于IFC(inter-frame coherence)的自监督训练方法。由于逆渲染问题的不适定性，引入额外的反照率一致性损失和交叉渲染损失强化自监督网络，其主要思想是对连续光照变化的图像序列执行IFC约束。即通过图像帧之间的位姿图和深度图，在相邻帧之间执行图像投影和扭曲；通过这种方法在相邻帧之间建立约束，并使用孪生训练来确保对光度不变量的一致估计。该方法使用完全卷积神经网络从室内视频序列中恢复几何形状、反射率和光照。自监督网络使用没有标签的连续帧图像集合进行训练，通过结合可微分渲染器，使网络以自监督的方式进行学习。通过与其他主流方法的比较，定量和定性实验结果表明提出方法在多个基准上表现更优。
- 单位
