基于Transformer-ESIM注意力机制的多模态情绪识别

作者：徐志京; 高姗

来源：计算机工程与应用, 2021, 1-9.

• 多模态情绪识别
• transformer编码层
• 多头注意力机制
• 交互注意力

为了提高语音和文本融合的情绪识别准确率，提出一种基于Transformer-ESIM注意力机制（Transformer-Enhanced Sequential Inference Model， Transformer-ESIM）的多模态情绪识别方法。鉴于传统循环神经网络在语音和文本序列特征提取时存在长期依赖性，其自身顺序属性无法捕获长距离特征，因此采用transformer编码层的多头注意力机制对序列进行并行化处理，解决了序列距离限制，能充分提取序列内的情感语义信息，获取语音和文本序列的深层情感语义编码，同时提高了处理速度；通过ESIM交互注意力机制计算语音和文本之间的相似特征，实现语音和文本模态的对齐，解决了多模态特征直接融合而忽视的模态间交互问题，提高模型对情感语义的理解和泛化能力。该方法在IEMOCAP数据集上进行实验测试，实验结果表明，情绪识别分类准确率可达72.6%，和其他主流的多模态情绪识别方法相比各项指标都得到了明显的提升。

• 单位
  上海海事大学