基于多模态深度融合的虚假信息检测

作者：孟杰; 王莉; 杨延杰; 廉飚

来源：计算机应用, 2021, 1-7.

• 虚假信息检测
• 多模态融合
• 双向循环门控单元
• 注意力机制
• 联合表征

针对虚假信息检测中图片特征提取不充分，同时忽视了单模内关系以及单模与多模之间交互作用的问题，提出一种多模态深度融合模型（MMDF）。首先，用双向门控循环单元（Bi-GRU）提取文本的丰富语义特征，多分支卷积-循环神经网络（CNN-RNN）提取图片的多层次特征。然后，建立模间和模内注意力机制捕获语言和视觉领域之间的高层交互，得到多模态联合表征。最后，建立注意力机制将各模态原表征与融合后的多模态联合表征进行再融合，加强原信息的作用。该模型与多模态变分自动编码器（MVAE）模型相比，在中国计算机学会（CCF）竞赛和微博数据集上的准确率分别提升了2.45%和2.95%。实验结果表明，所提模型能够充分融合多模态信息，有效提高虚假信息检测准确率。

• 单位
  太原理工大学; 北方自动控制技术研究所