基于ADGCN-MFM的多模态讽刺检测研究

作者：余本功; 季晓晗

来源：数据分析与知识发现, 2023, 7(10): 85-94.

DOI：10.11925/infotech.2096-3467.2022.0987

• 多模态
• 讽刺检测
• 情感-依存
• 图卷积神经网络
• 模态融合

【目的】针对现有多模态讽刺检测研究对文本的情感信息和句法依存关系考虑不够全面的问题，提出一种基于情感-依存图卷积神经网络与模态融合的讽刺检测模型。【方法】该模型通过情感图和句法依存图增强文本模态的情感和句法信息，利用图卷积神经网络得到具有丰富情感语义的文本信息，随后通过模态融合的方式融合多模态特征，并利用自注意力机制过滤冗余信息，根据融合信息进行讽刺检测。【结果】实验结果表明，模型的准确率达到85.85%，相较于基线模型HFM、Res-BERT、D&R Net、IIMI-MMSD分别提升3.46、2.25、1.83、0.95个百分点；F1值达到84.80%，相较于基线模型中的较优者提升1.44个百分点。【局限】未在更多数据集上验证模型的泛化性与稳健性。【结论】所提模型可以充分挖掘到文本的情感和句法依存关系，有效提升了多模态讽刺检测的准确性。

• 单位
  合肥工业大学