基于多任务学习的轻量级语音情感识别模型

作者：宋羽凯; 谢江

来源：计算机工程, 2023, 49(05): 122-128.

DOI：10.19678/j.issn.1000-3428.0064430

• 语音情感识别
• MFCC特征
• 特征提取
• 卷积网络
• 深度学习

现有的语音情感识别（SER）模型存在训练参数量大、模型泛化性能差、情感识别准确率低等问题，利用有限的语音情感数据建立一个轻量级的模型以提高识别效率和准确率尤为重要。提出一种轻量级端到端多任务学习的P-CNN+Gender深度模型，该模型由语音特征组合网络、负责情感特征和性别特征提取的主体卷积网络以及情感和性别分类器组成。以语音的梅尔频率倒谱系数（MFCC）特征作为输入，特征组合网络使用多个大小不同的卷积核从MFCC特征中平行提取特征再进行组合，供后续的主体卷积网络进行情感特征和性别特征的提取。考虑到情感表达和性别的相关性，将性别分类作为辅助任务融合到情感分类中以提高模型的情感分类性能。实验结果表明，该模型在IEMOCAP、Emo-DB和CASIA语音情感数据集上的类别分类准确率分别达到73.3%、96.4%和93.9%，较P-CNN模型分别提高3.0、5.8和6.5个百分点，与3D-ACRNN、CNNBiRNN等模型相比，其训练参数量仅为其他模型的1/10～1/2,且处理速度更快、准确率更高。

• 单位
  上海大学