基于多域特征区域标准分数差异的Deepfake视频检测方法

作者：姚其森; 胡永健; 李纪成; 佘惠敏; 王宇飞; 刘琲贝

来源：2022-07-06, 中国, CN202210787371.3.

本发明公开了一种基于多域特征区域标准分数差异的Deepfake视频检测方法,包括下述步骤：数据集划分；视频分帧并提取待检测区域；构建双支路卷积神经网络；计算待检测区域的RGB特征和NSCT子带图像；NSCT子带图像按频带融合得到频域特征；通过纹理特征提取模块获得不同层级纹理特征的响应；将空域、频域特征支路的输出特征沿通道维度拼接,输入异常特征判别模块获得篡改区域预测掩膜；篡改区域预测掩膜经全连接层得到一维特征,与纹理特征提取模块输出特征拼接,经过全连接层和Softmax激活函数输出二分类预测结果。本发明能较好地结合空域和频域的特征信息,实现加强对纹理特征的响应,判别异常篡改痕迹,提高了模型的泛化能力。

• 单位
  华南理工大学