采用多任务学习和循环神经网络的语音情感识别算法

作者：冯天艺; 杨震

来源：信号处理, 2019, 35(07): 1133-1140.

DOI：10.16798/j.issn.1003-0530.2019.07.002

• 语音情感识别
• 多任务学习
• 循环神经网络

随着机器学习的快速发展,许多研究者使用神经网络来解决语音识别领域中的各类问题。然而由于训练数据有限等原因,常规的神经网络分类器普遍存在泛化误差等问题。为了解决此问题,迁移学习中的多任务学习被引入到研究中。本文提出了一种采用多任务学习和循环神经网络的语音情感识别算法(MTL-RNN),将说话人情感识别作为主任务,性别识别和身份识别作为辅助任务,三个任务在神经网络中并行训练。算法模型通过RNN共享层共享网络参数、学习共享特征,通过属性依赖层学习独有特征,以提升模型的分类性能。实验结果表明,本文所提出的MTL-RNN算法在汉语和阿拉伯语、较少说话人和较多说话人的场景下均有较好的识别性能。

• 单位
  南京邮电大学