结合Bi-LSTM-CNN的语音文本双模态情感识别模型

作者：王兰馨; 王卫亚; 程鑫

来源：计算机工程与应用, 2021, 1-8.

• 语音情感识别
• 卷积神经网络
• 长短时记忆网络
• 特征融合

针对单一模态情感识别精度低的问题，提出了基于Bi-LSTM-CNN的语音-文本双模态情感识别模型算法。该算法采用带有词嵌入的双向长短时记忆网络（Bi-Long And Short Term Memory Network， Bi-LSTM）和卷积神经网络（Convolutional Neural Network， CNN）构成Bi-LSTM-CNN模型，实现文本特征的提取，将其与声学特征融合结果作为联合CNN模型的输入，进行语音情感计算。基于IEMOCAP多模态情感检测数据集的测试结果表明，情感识别准确率达到了69.51%，比单一模态模型提高了至少6%。

• 单位
  长安大学