科研之友
微信
新浪微博
Facebook
分享链接
摘要
随着社交网络的发展，人类通过不同的方式表达自己的情感，包括文本、视觉和语音，即多模态。针对以往的多模态情感分析方法未能有效地获取多模态情感特征表示以及没有充分考虑在多模态特征融合过程中冗余信息对实验的影响，提出了一种基于跨模态语义信息增强的多模态情感分析模型。该模型首先采用BiLSTM网络挖掘各单模态内部存在的上下文信息。其次，通过跨模态信息交互机制对多种模态间的信息交互进行建模，得到文本对语音、视觉，语音对文本、视觉，视觉对文本、语音六种信息交互特征，然后将目标模态相同的信息交互特征进行拼接，得到信息增强后的单模态特征向量，有效地获取模态间共享和补充的深度语义特征。另外，使用多头自注意力机制分别计算原始单模态特征向量和信息增强后的单模态特征向量间存在的语义相关性，提高识别关键情感特征的能力，降低冗余信息对情感分析的负面干扰。在公共数据集CMU-MOSI和CMU-MOSEI的实验结果表明，所提出的模型既能增强情感特征表示，也能有效降低冗余信息的干扰，在多模态情感分类准确率和泛化能力上的表现优于相关工作。
- 单位
