面向不平衡数据集的语音情感识别研究

作者：张会云; 黄鹤鸣

来源：计算机工程与应用, 2023, 1-11.

• 语音情感识别
• 重采样
• 胶囊网络
• 数据扩充

样本平衡对机器学习至关重要，在不平衡数据集中，虽然某些类别的样本数量可能很少但其重要性可能更高。本文研究了基于不平衡数据集的语音情感识别。首先，在不同信噪比下采用不同噪声对不平衡基线数据集EMODB和IEMOCAP进行扩充，构建含噪数据集EMODBM和IEMOCAPM；其次，采用SMOTE、RandomOverSampler、SMOTEENN、ADASYN、TomekLinks以及SMOTETomek等6种技术对基线数据集和含噪数据集进行重采样，实现类别样本平衡；再次，在基线数据集和扩充数据集上分别提取21维的低级描述符特征；最后，采用新提出的模型MA-CapsNet验证重采样技术的有效性。实验表明，经过重采样后各类情感样本基本平衡，使模型的学习更公平、更客观；另外，模型在重采样数据集上的鲁棒性更好。

• 单位
  青海师范大学