科研之友
微信
新浪微博
Facebook
分享链接
摘要
针对计算机视觉中的三维人体重建问题，文章提出一种端到端的的网络框架，在三维和二维混合监督下，从单幅彩色图像重建带纹理信息的精准三维人体网格。使用4个编码器分别提取形状姿态特征、纹理特征、光照参数和像机参数，得到的图像特征被送入三维回归模块，迭代推断出三维人体参数；纹理参数送入纹理解码器网络得到纹理图；学习到的人体参数可转化为三维人体网格；对于损失函数的设置，预测的人体网格顶点与真实顶点的差值用来进行三维监督；通过预测的像机参数、光照参数和纹理计算二维渲染损失；通过三维关节投射得到的二维关节与图像上的二维关节真值计算二维关节重投影损失；生成对抗网络的鉴别器使得渲染图像更加真实。该文方法与现有的三维人体重建方法相比具有竞争力，而且重建的三维人体网格带有纹理信息。
- 单位
