结合3D-CNN和频-空注意力机制的EEG情感识别

作者:张静; 张雪英*; 陈桂军; 闫超
来源:西安电子科技大学学报, 2022, 49(03): 191-205.
DOI:10.19665/j.issn1001-2400.2022.03.021

摘要

目前,将深度学习用于脑电情感识别的研究已提出很多方法,但大多数方法并没有同时考虑脑电信号在时间、空间以及频率三个维度上的信息。基于此,提出一种结合频率-空间注意力机制的三维卷积神经网络(FSA-3D-CNN),同时考虑脑电信号在时间、空间和频率三个维度的信息,从而提高情感识别的准确性。首先,根据脑电信号的特性设计了一种新颖的四维特征结构,对时域分段后的脑电信号分别提取微分熵特征,并将其转换为四维矩阵用于训练深度模型。然后,针对四维特征矩阵结构改进现有的3D-CNN情感识别模型,同时利用脑电信号中的时间、空间和频率的信息。最后,设计一种频率-空间注意力机制自适应地分配脑电信号的频率和空间通道的权值,挖掘脑电信号中更能显著反映情感状态变化的空间和频率信息。FSA-3D-CNN模型在DEAP公共情感数据集的效价维和唤醒维二分类准确率分别达到了约95.87%和95.23%,在效价-唤醒维的四分类准确率达到约94.53%,比现有的卷积神经网络和LSTM情感识别模型均取得了显著的提升。

全文