全卷积循环神经网络的语音情感识别

作者：朱敏^*; 姜芃旭; 赵力

来源：声学技术, 2021, 40(05): 645-651.

DOI：10.16300/j.cnki.1000-3630.2021.05.009

• 神经网络
• 语音情感
• 特征提取

语音情感识别是人机交互的热门研究领域之一。然而,由于缺乏对语音中时频相关信息的研究,导致情感信息挖掘深度不够。为了更好地挖掘语音中的时频相关信息,提出了一种全卷积循环神经网络模型,采用并行多输入的方式组合不同模型,同时从两个模块中提取不同功能的特征。利用全卷积神经网络(Fully Convolutional Network,FCN)学习语音谱图特征中的时频相关信息,同时,利用长短期记忆(Long Short-Term Memory, LSTM)神经网络来学习语音的帧级特征,以补充模型在FCN学习过程中缺失的时间相关信息,最后,将特征融合后使用分类器进行分类,在两个公开的情感数据集上的测试验证了所提算法的优越性。

• 单位
  东南大学; 常州信息职业技术学院; 电子工程学院