科研之友
微信
新浪微博
Facebook
分享链接
摘要
针对语音-人脸图像重建方法缺乏来自不同维度的监督约束及未利用人脸先验信息，导致生成图像和真实图像相似度不高的问题，提出结合年龄监督和人脸先验信息的语音-人脸图像重建方法.通过预训练的年龄评估模型为当前数据集扩充年龄数据，弥补来自年龄监督信息的缺乏.通过语音-人脸图像跨模态身份匹配方法，为给定语音检索接近真实人脸的面部图像，将得到的图像作为人脸先验信息使用.该方法通过定义结合交叉熵损失和对抗损失的联合损失函数，从年龄感、低频内容和局部纹理等方面均衡提升重建图像质量.基于数据集Voxceleb 1，通过人脸检索实验的方式进行测试，与当前主流方法进行比较和分析.结果表明，该方法能有效提升生成图像与真实图像的相似度，所生成的图像具有更好的主客观评价结果.
- 单位
