科研之友
微信
新浪微博
Facebook
分享链接
摘要
针对深度伪造视频的检测，传统的残差网络检测方法无法捕捉视频帧间远距离依赖关系并且忽略局部关键信息，为此，提出一种结合时空注意力机制的残差网络的人脸篡改检测方法.首先利用OpenCV提取视频帧，使用Dlib工具在每个提取的帧图像上定位面部地标，依据获得的面部地标经裁剪、对齐和调整脸部大小获得人脸帧序列.然后通过去除最后两层(全局平均池化层和全连接层)的残差网络(ResNeXt)提取人脸数据的空间域特征，在此基础上，融合自注意力机制学习上述特征中的局部关键信息.之后使用长短时记忆层捕捉视频帧间的远距离依赖关系，从而获取时间域特征.最后经过Dropout层随机抛弃部分神经元，增加模型的泛化性，并使用全连接层进行人脸的真假分类.在FaceForensics++数据集上进行实验，该方法的检测准确率较多个基线算法均有所提升，表明该方法能有效检测视频中人脸区域是否被篡改.
- 单位
