VR头盔遮挡情况下的3D面部重建

作者：张雁鹏; 陈世均; 高建勇

来源：传感器世界, 2020, 26(04): 28-32.

DOI：10.16204/j.cnki.sw.2020.04.004

• 虚拟现实
• 头戴式显示器
• 卷积神经网络
• 3D面部重建

基于虚拟现实(VR)头戴式显示器(HMD)设备的远程会议或远程呈现是一个非常有趣和有前景的应用,因为HMD可以为用户提供身临其境的感受,但是面对面通信时,无法实时获取面部表情,阻碍了正常的交流。针对这一问题,本文提出了一种基于卷积神经网络(CNN)的解决方案,用于HMD用户的实时3D面部重建,首先通过据合成生成大量的HMD面部标签数据集,然后使用该数据训练一个面部神经网络,以获得3D人脸模型参数。大量的实验结果表明,该系统可以高效、有效地生成具有面部姿态、面部表情的3D头像。

• 单位
  苏州热工研究院有限公司