基于Transformer的面部动画生成

作者：豆子闻; 李文书

来源：软件工程, 2023, 26(12): 59-62.

DOI：10.19644/j.cnki.issn2096-1472.2023.012.012

• 动画生成
• 自回归
• 深度学习
• 唇形同步
• Transformer

在面部动画生成领域，克服人脸几何形状的复杂性是一项极具挑战性的任务。为了更好地应对这一挑战，文章采用了一种创新的方法，即将经过一维卷积堆叠和自注意力提取后的音频特征作为输入，通过Transformer模型从音频信号中生成面部动画。这个过程采用时间自回归模型逐步合成面部运动。使用BIWI数据集开展实验证明，该方法成功地将唇部顶点误差率缩小至令人满意的6.123%,同步率超过MeshTalk79.64%,这意味该方法在口型同步和面部表情生成方面表现出色，在完成面部动画生成任务中表现出很高的潜力，可为未来相关研究提供方向和参考。

• 单位
  浙江理工大学