基于注意力机制的特征融合-双向门控循环单元多模态情感分析

作者：赖雪梅^*; 唐宏; 陈虹羽; 李珊珊

来源：计算机应用, 2021, 41(05): 1268-1274.

• 多模态
• 情感分析
• 双向门控循环单元
• 注意力机制
• 特征融合

针对视频多模态情感分析中,未考虑跨模态的交互作用以及各模态贡献程度对最后情感分类结果的影响的问题,提出一种基于注意力机制的特征融合-双向门控循环单元多模态情感分析模型(AMF-Bi GRU)。首先,利用双向门控循环单元(Bi GRU)来考虑各模态中话语间的相互依赖关系,并得到各模态的内部信息;其次,通过跨模态注意力交互网络层将模态内部信息与模态之间的交互作用相结合;然后,引入注意力机制来确定各模态的注意力权重,并将各模态特征进行有效融合;最后,通过全连接层和softmax层获取情感分类结果。在公开的CMU-MOSI和CMUMOSEI数据集上进行实验。实验结果表明,与传统的多模态情感分析方法(如多注意力循环网络(MARN))相比,AMF-Bi GRU模型在CMU-MOSI数据集上的准确率和F1值分别提升了6.01%和6.52%,在CMU-MOSEI数据集上的准确率和F1值分别提升了2.72%和2.30%。可见,AMF-Bi GRU模型能够有效提高多模态的情感分类性能。

• 单位
  通信与信息工程学院; 重庆邮电大学