基于多尺度卷积和自注意力特征融合的多模态情感识别方法

作者：陈田^*; 蔡从虎; 袁晓辉; 罗蓓蓓

来源：计算机应用, 2023, 1-7.

• 脑电
• 自注意力
• 心电
• 眼动
• 多模态
• 情感识别

基于生理信号的情感识别受噪声等因素影响，准确率和跨个体泛化能力较差。对此，提出一种基于脑电、心电和眼动信号的多模态情感识别方法。首先，对生理信号进行多尺度卷积，获取更高维度的信号特征和减小参数量；其次，自注意力机制被用于多模态信号特征的融合中，以提升关键特征的权重和减少模态之间的特征干扰；最后，双向长短期记忆网络被用于提取融合特征的时序信息和分类。实验结果表明，方法在效价、唤醒度和效价/唤醒度四分类任务上分别取得90.29%、91.38%和83.53%的识别准确率，相比脑电单模态和脑电/心电双模态方法，准确率上提升了7.11和3.15个百分点。方法的多尺度卷积和自注意力特征融合具有有效性，方法能够准确识别情感，在个体间的识别稳定性更好。

• 单位
  合肥工业大学