基于多任务学习与层叠Transformer的多模态情感分析模型

作者：陈巧红; 孙佳锦; 漏杨波; 方志坚

来源：浙江大学学报(工学版), 2023, 57(12): 2421-2429.

• 多模态情感分析
• 长短时记忆(LSTM)
• Transformer
• 多任务学习
• 跨模态特征融合

针对单模态特征提取存在的模态特征异质性难以保留问题和跨模态特征融合存在的特征冗余问题，基于跨模态Transformer，提出新的多模态情感分析模型（MTSA）.使用长短时记忆(LSTM)与多任务学习框架提取单模态上下文语义信息，通过累加辅助模态任务损失以筛除噪声并保留模态特征异质性.使用多任务门控机制调整跨模态特征融合，通过层叠Transformer结构融合文本、音频与视觉模态特征，提升融合深度，避免融合特征冗余.在2个公开数据集MOSEI和SIMS上的实验结果表明，相较于其他先进模型，MTSA的整体性能表现更好，二分类准确率分别达到83.51%和84.18%.

• 单位
  浙江理工大学