结合Bi-LSTM-CNN的语音文本双模态情感识别模型

作者：王兰馨; 王卫亚; 程鑫

来源：计算机工程与应用, 2022, 58(04): 192-197.

• 语音情感识别
• 卷积神经网络(CNN)
• 长短时记忆网络(LSTM)
• 特征融合

针对单一模态情感识别精度低的问题,提出了基于Bi-LSTM-CNN的语音文本双模态情感识别模型算法。该算法采用带有词嵌入的双向长短时记忆网络(bi-directional long short-term memory network,Bi-LSTM)和卷积神经网络(convolutional neural network,CNN)构成Bi-LSTM-CNN模型,实现文本特征的提取,将其与声学特征融合结果作为联合CNN模型的输入,进行语音情感计算。基于IEMOCAP多模态情感检测数据集的测试结果表明,情感识别准确率达到了69.51%,比单一模态模型提高了至少6个百分点。