基于3DMM软生物特征的深度伪造视频检测方法及系统

作者：胡永健; 陈香全; 刘琲贝; 王宇飞; 余翔宇

来源：2021-02-25, 中国, CN202110207575.0.

本发明公开了一种基于3DMM软生物特征的深度伪造视频检测方法及系统,该方法包括下述步骤：视频预处理,选取人脸图像帧并输入至3DMM模型提取得到形状、纹理、表情与姿态四种特征向量；构建面部行为特征提取网络,提取人物特定面部行为特征；构建度量学习损失函数,训练面部行为特征提取网络；构建外貌特征提取模块；基于人物身份信息构建面部行为特征参考集和外貌特征参考集；提取待检测人物视频的面部行为特征与外貌特征,与参考集特征向量进行相似度匹配；设定外貌特征相似度阈值,并利用特征匹配一致性进行真假分类。本发明利用软生物特征对深度伪造视频进行检测,适用于特定重要人物,具有较高的检测准确度。

• 单位
  华南理工大学; 中新国际联合研究院