科研之友
微信
新浪微博
Facebook
分享链接
摘要
针对目前单目手部重建设备成本高、响应速度迟缓等问题，提出一种利用单目摄像机获取手部形状和姿态进行手部三维重建的方法。该方法采用基于深度学习的架构，使用带有2D和3D注释的图像数据和手部动作捕捉数据进行训练。首先，通过一个关节检测模块(3DHandNet)和一个逆运动学模块(IRNet)准确地回归3D关节位置并将其映射到关节旋转中。其次，通过引入生物力学约束以达到高质量的网格图像对齐以提供实时预测。最后，将得到的预测向量与关节旋转表示输入到手部网格模板来拟合手部形状。仅与回归3D关节位置的方法相比其更适用于计算机视觉和图形学领域的应用。在基准数据集上的实验结果表明，该方法达到了实时的运行性能(60 fps)和较高的重建精度，在姿态估计精度和手部图像对齐方面均优于目前的方法。
- 单位
