科研之友
微信
新浪微博
Facebook
分享链接
摘要
如何挖掘不同模态中蕴涵的情感信息并实现多模态融合是多模态情感分析的关键问题之一。针对各模态之间信息密度存在差距和融合过程中可能会丢失部分情感信息等问题，提出一种基于非文本模态强化和门控融合方法的多模态情感分析模型。该模型通过设计一个音频—视觉强化模块来实现音频和视觉模态的信息增强，从而减小与文本模态的信息差距。之后，通过跨模态注意力和门控融合方法，使得模型充分学习到多模态情感信息和原始情感信息，从而增强模型的表达能力。在对齐和非对齐的CMU-MOSEI数据集上的实验结果表明，所提模型是有效的，相比现有的一些模型取得了更好的性能。
- 单位
