科研之友
微信
新浪微博
Facebook
分享链接
摘要
【目的】为充分利用多模态信息，实现更有效的模态间交互，本文提出一种基于双向掩码注意力机制的多模态情感分析模型BMAM。【方法】该模型同时建模文本和语音两个模态，对于每个模态，掩码注意力通过引入另一个模态的信息来动态调整当前模态的注意力权值，从而获取更精准的模态表示。这些模态表示既保留了模态固有的独特性，又减少了与另一个模态的差异性，帮助模型实现最佳的情感决策。【结果】在通用的多模态情感分析数据集IEMOCAP上对模型进行评估验证，模型的情感分析加权准确率达到74.1%，相较于现有主流方法有明显提升。【局限】模型对数据集中占比较大的Neutral、Anger这两个情感类别有较高的识别效果，而对数据集中占比较小的Happy、Sad情感类别的识别性能较差。【结论】本文模型能有效利用多模态间的相互作用以合理调整模态自身情感元素间的注意力权重，实现更有效的情感决策。
- 单位
