基于多模态生理信号特征融合的情感识别方法

作者：陈心怡; 陶小梅

来源：计算机仿真, 2023, 40(06): 175-181+186.

DOI：10.3969/j.issn.1006-9348.2023.06.031

• 情感识别
• 多模态
• 卷积神经网络
• 长短时记忆网络
• 特征层融合

针对单模态生理信号情感识别率不高，稳定性不足等问题，提出一种基于眼动和光电容积脉搏(Photoplethysmogram, PPG)多模态特征融合的情感识别方法。从眼动和PPG的浅层特征中使用卷积神经网络FECNN提取深层特征，采用特征层融合的方法将深浅层特征进行融合。使用长短期记忆网络(LSTM)作为分类器，将融合后的多模态特征作为LSTM的输入，实现高兴，感兴趣，困惑和无聊四种情感识别。采用在线视频学习场景下采集的数据对上述模型进行训练和评估。使用眼动单模态浅层特征的最高识别率为71.25%,PPG单模态浅层特征的最高识别率为73.40%,基于FECNN-LSTM的眼动和PPG多模态融合情感识别方法取得平均识别准确率达84.68%,实验结果表明，上述模型能充分利用眼动和PPG中的情感特征信息，提高了情感分类准确率。

• 单位
  桂林理工大学; 广西师范大学