基于多模态信息融合的深度伪造检测

作者：王栋; 李达^*; 杨珂; 郭庆雷; 王合建

来源：电力信息与通信技术, 2023, 21(08): 29-35.

DOI：10.16543/j.2095-641x.electric.power.ict.2023.08.05

• 多模态信息融合
• VisionTransformer模型
• 深度伪造

深度伪造技术的快速发展和应用给国家和社会安全、个人信息数据、企业安全等造成了潜在威胁。从电网企业的实际业务场景出发，针对现有深度伪造检测方法的泛化能力不足问题，文章提出一种基于多模态信息融合的深度伪造检测方法，为保护电网企业合法权益提供支撑。提出的方法在基准人脸伪造数据集FaceForensics++(FF++)进行验证评估，结果表明该方法在人脸伪造检测方面性能优良、鲁棒性好，同时多模态信息融合使得模型泛化性得到了很好的提升。

• 单位
  国家电网有限公司