融合语音和脉搏的多模态情感识别研究

作者：周红标

来源：微电子学与计算机, 2015, 32(06): 5-9.

DOI：10.19304/j.cnki.issn1000-7180.2015.06.002

• 多模态情感识别
• 语音
• 脉搏
• 梅尔倒谱系数
• 隐马尔科夫
• 决策级融合

针对单独利用语音或某种生理信号进行情感识别容易误判的问题,提出融合语音和脉搏的多模态情感识别方法.首先对预处理后的语音信号提取梅尔倒谱系数特征,并用隐马尔科夫构建语音情感识别模型,然后计算脉搏信号K值和小波包系数能量值,并输入到最小二乘支持向量机识别模型中进行判别,最后对两个模型的判别结果进行决策级的融合.实验结果表明:对于哀伤和平静两种情感,语音识别率较高,融合后识别率达到100%;对于高兴和愤怒两种情感,语音识别率为75%和80%,融合后提高到95%和90%.

• 单位
  淮阴工学院