结合小波变换高频信息的可控面部性别伪造

作者：陈万泽; 陈家祯^*; 黄丽清; 叶锋; 黄添强; 罗海峰

来源：计算机科学, 2023, 50(S2): 352-361.

• 图像生成
• 生成对抗网络
• 图像到图像的翻译
• 人脸属性编辑
• 聚焦损失

基于生成对抗网络（Generative Adversarial Network,GAN）的图像到图像的翻译（Image-to-Image Translation,I2I）技术在各种领域中取得了一系列突破，并广泛应用于图像合成、图像着色、图像超分辨率，特别是在面部属性操作方面获得了深入研究。为了解决目前I2I领域由于模型架构以及数据不均衡所导致的不同翻译方向的生成图像性能表现差异的问题，提出了一种HFIGAN(High Frequency Injection GAN)模型，实现了结合高频信息的可控面部性别伪造。首先在结合高频信息的小波模块中，将编码特征通过离散小波变换进行特征级的分解，将所得到的高频信息在解码阶段对等注入，使得在上采样过程中的源域与目标域之间的信息可以达成平衡状态。其次，针对I2I任务中多域转换在不同方向的翻译难度不一致的问题，通过对损失函数进行重新设计，将难易样本的损失进行放缩，提高难样本对模型的反馈，使模型更专注于难样本的训练从而提升模型性能。最后，提出基于风格特征的多样性正则项，将风格向量在不同空间中的距离度量添加至传统的多样性损失中进行监督，使得模型能在保持生成图像多样性的同时提升图像的生成质量。分别在CelebA-HQ数据集和FFHQ数据集上进行实验并验证了所提方法的有效性。在主流的I2I模型中结合所提损失进行了损失函数通用性验证。实验结果表明，与以往先进方法相比，HFIGAN在面部性别伪造方面性能更加优异，所提出的损失函数具备一定的通用性。

• 单位
  福建师范大学