科研之友
微信
新浪微博
Facebook
分享链接
摘要
近年来多模态情绪识别获得广泛关注，模态间的特征融合决定了情绪识别的效果，现有基于图的情绪特征融合方法多基于二元关系图，在处理三种及以上模态数据时难以实现有效的模态间特征融合，限制了多模态情绪识别的效果.为解决该问题，本文提出基于超图的多模态情绪识别模型（Multi-modal Emotion Recognition Based on Hypergraph,MORAH），引入超图来建立多模态的多元关系，以此替代现有图结构采用的多个二元关系，实现更加充分、高效的多模态特征融合.具体来说，该模型将多模态特征融合分为两个阶段：超边构建阶段和超图学习阶段.在超边构建阶段，通过胶囊网络实现对序列中每个时间步的信息聚合，并建立单模态的图，然后使用图卷积进行第二次信息聚合，并以此作为下一阶段建立超图的基础，得益于图胶囊聚合方法的加入，MORAH可以同时处理对齐数据和未对齐数据，无需手动对齐;在超图学习阶段，模型建立同一样本不同模态节点之间的关联，以及同类样本所有模态之间的关联，同时，在超图卷积过程中，使用分层多级超边来避免过于平滑的节点嵌入，并使用简化的超图卷积方法来融合模型之间的高级特征，以确保所有节点特征仅在必要时更新.在两个基准数据集上的综合实验表明，本文模型利用超图实现了对多模态数据之间多元关系的充分利用.与现有的先进方法相比，在CMU-MOSI数据集的未对齐数据上，MORAH将二分类准确率提高了1.3%,F1得分提高了1.1%.在CMU-MOSEI数据集的未对齐数据上，MORAH将二分类准确率和F1分数分别提高了0.2%.
- 单位
