融合自监督和多层交叉注意力的多模态情感分析网络

作者：薛凯鹏; 徐涛^*; 廖春节

来源：计算机应用, 2023, 1-6.

• 多模态
• 情感分析
• 自监督
• 注意力机制
• 视觉语言预训练模型

针对多模态情感分析任务中模态内信息不完整、模态间交互能力差和难以训练的问题，将视觉语言预训练模型（VLP）应用于多模态情感分析领域，提出了一种融合自监督和多层交叉注意力的多模态情感分析网络（Multimodal Sentiment Analysis Network with Self-Supervision and Multi-Layer Cross Attention, MSSM）。该算法通过自监督学习强化视觉编码器模块并加入多层交叉注意力以更好地建模文本和视觉特征，使得模态内部信息更加丰富完整，同时使模态间的信息交互更加充分，并通过具有IO意识的快速、内存效率高的精确注意力（Flash Attention）解决Transformer中注意力计算高复杂度的问题。实验结果表明，与目前主流的CLIP模型相比，MSSM在处理后的MVSA-S数据集上准确率提高了3.6个百分点，在MVSA-M数据集上准确率提高了2.2个百分点，证明该方法能在降低运算成本的前提下同时有效提高多模态信息融合的完整性。

• 单位
  西北民族大学