TSAIE：图像增强文本的多模态情感分析模型

作者：刘琦玮; 李俊; 顾蓓蓓; 赵泽方

来源：数据与计算发展前沿, 2022, 4(03): 131-140.

DOI：10.11871/jfdc.issn.2096-742X.2022.03.010

• 多模态
• 情感分析
• Transformer
• 注意力机制
• 图文特征融合

【目的】近年来，以图文结合的多模态数据分析模型已经逐渐成为社交网络中情感分析的重要途径。【方法】本文针对多模态情感分析中存在的图文特征融合问题，提出了一种基于图像增强文本的多模态情感分析模型TSAIE。该模型分别提取文本特征和图片特征，然后设计了基于Transformer编码器与注意力机制的组合注意力图文特征融合模块，通过该模块计算出文本中的每一个词和图片的信息相关度，提升文本特征的情感表征能力，最后将经过组合注意力计算之后的文本特征与图片特征拼接后输入全连接层。【结论】实验结果表明，在MVSA-Single数据集上，情感分类的准确率和F1值分别提高了3.11%和2.53%，在MVSA-Multi数据集上，情感分类的准确率和F1值分别提高了1.33%和0.74%，从而验证了TSAIE模型的有效性。

• 单位
  中国科学院大学; 中国科学院计算机网络信息中心