基于图神经网络和注意力的双模态情感识别方法

作者：李路宝; 陈田; 任福继; 罗蓓蓓

来源：计算机应用, 2022, 1-9.

• 情感识别
• 多模态
• 脑电
• 心电
• 图神经网络
• 注意力

针对生理信号情感识别问题，提出一种基于图神经网络(GNN)和注意力的双模态(脑电信号和心电信号)情感识别方法。首先，使用图神经网络对脑电信号(EEG)进行分类；然后，使用基于注意力的双向长短期记忆(Bi-LSTM)网络对心电信号(ECG)进行分类；最后，通过Dempster-Shafer证据理论融合脑电和心电分类的结果，从而提高情感识别任务的综合性能。为了验证所提方法的有效性，邀请了20名受试者参与了情感激发实验，收集了受试者的脑电信号、心电信号。实验结果表明，所提模型的二分类准确率在valence维度和arousal维度分别为91.82%和88.24%，相较于单模态EEG模型分别提高了2.65%和0.40%，相较于单模态ECG模型分别提高了19.79%和24.90%。该模型能够有效的提高情感识别的准确率，为医疗诊断等领域提供决策支持。

• 单位
  合肥工业大学