基于CNN-Transformer双流网络的伪脸检测

作者：杨一; 卢佩; 刘效勇; 谢峰

来源：科学技术与工程, 2023, 23(19): 8288-8295.

DOI：10.3969/j.issn.1671-1815.2023.19.030

• 生成对抗网络
• 注意力机制
• 卷积神经网络
• Transformer
• 伪造人脸

生成对抗网络(generative adversarial networks, GANs)技术正逐步成为合成图像的主流方法，合成的人脸图像对社会稳定和国家安全具有潜在的风险隐患，因此识别GAN生成的人脸已成为一个重要问题。为解决卷积神经网络(convolutional neural networks, CNN)在训练过程中无法获取图像全局表示的问题，提出了一种CNN-Transformer双流网络检测框架，在最大限度提取局部特征的同时，进一步保留图像的全局信息。首先，在CNN分支流中引入空间注意力和通道注意力，关注图像关键信息并提取局部特征；其次，利用Transformer分支流提取图像的全局信息；最后，中间利用桥接双分支的MixBlock交互模块分别将两者提取的局部特征和全局信息融合在一起。实验结果表明：与现有两种方法相比，本文所提方法在公共伪脸数据集上的分类检测精度分别提升了5.42%和1.95%,并且在后处理的图像上表现出一定的鲁棒性。

• 单位
  桂林理工大学