基于注意力神经网络的多模态情感分析

作者：林敏鸿; 蒙祖强^*

来源：计算机科学, 2020, S2: 508-548.

• 社交媒体
• 多模态数据
• 情感分析
• 注意力机制
• 张量融合

近年来,越来越多的人热衷于在社交媒体上同时用图片和文本等媒体形式表达自己的感受与看法,使得以图片和文本为主要内容的多模态数据不断增长。相比单模态数据,多模态数据包含的信息更丰富,更能揭示用户的真实情感。对这些海量多模态数据的情感进行分析有助于更好地理解人们的态度和观点,具有广泛的应用场景。为了解决多模态情感分类任务中的信息冗余的问题,在张量融合方案的基础上,提出了一种基于注意力神经网络的多模态情感分析方法。该方法构造了基于注意力神经网络的文本特征提取模型和图像特征提取模型,突出了图像情感信息关键区域和包含情感信息的单词,使得各单模态特征表达更简练精确。将各模态的张量积作为多模态数据的联合特征表达,采用主成分分析法剔除联合特征的冗余信息,进而使用支持向量机获取多模态数据的情感类别。在两个真实的Twitter图文数据集上对所提模型进行了评估,实验结果表明,与其他情感分类模型相比,该方法在分类准确率、召回率、F1指标和准确率上都有较大的提升。