跨语言语料库的语音情感识别对比研究

作者：钟琪; 冯亚琴; 王蔚^*

来源：南京大学学报(自然科学), 2019, 55(05): 765-773.

DOI：10.13232/j.cnki.jnju.2019.05.008

• 跨语料库
• 语音情感
• 深度学习
• 分类器
• 迁移学习

情感感知具有普遍性和差异性,不同语言表达的情感有不同的情感特征,但也存在相似的情感特征.选择IEMOCAP英语情感数据库、CASIA汉语情感数据库、EMO-BD德语情感数据库,以中性、生气、快乐、悲伤四种情感为研究对象,了解在单语言语料库、混合语言语料库、跨语料库的语音情感识别情况.使用支持向量机(Support Vector Machine,SVM)、卷积神经网络(Convolutional Neural Networks,CNN)和长短时记忆网络(Long-Short Term Memory,LSTM)为分类器进行训练,对情感进行识别.从实验结果可以看出,不同语料库的语音情感的识别模式存在相似性,也存在相似的语言情感特性.还发现英文的中性情感和中文的悲伤情感具有良好的模型泛化性,英文的悲伤情感和中文的中性情感有较好的适应性.

• 单位
  教育科学学院; 南京师范大学