科研之友
微信
新浪微博
Facebook
分享链接
摘要
人脸重演可以将一个驱动人物的上半身动作迁移到目标人物上，合成一段视频。针对当前方法动作迁移不充分或合成的视频质量较低的问题，提出了无监督动作迁移再修复的人脸重演方法。首先利用一种无监督运动迁移模型，将驱动人物动作较为完整地迁移到目标人物，并得到粗糙的目标人脸视频。然后设计一个带有时空结构的生成神经网络，将粗糙的人脸视频修正为逼真流畅的人脸视频。为合成流畅且细节丰富的视频，在网络中引入了三维卷积以及注意力机制，更好地处理时空信息和指导图片的修正；为避免背景合成错误，将背景信息嵌入到网络作为固定参数；为提高牙齿的真实度，设计了一种嘴部增强损失。该网络以对抗的方式训练，确保了图片的真实感。实验表明，该算法可合成高质量的目标人物视频，性能指标优于目前先进的重演方法。
- 单位
