基于混合神经网络的脑电时空特征情感分类

作者：陈景霞^*; 郝为; 张鹏伟; 闵重丹; 李玥辰

来源：软件学报, 2021, 32(12): 3869-3883.

DOI：10.13328/j.cnki.jos.006123

• 脑电图
• 情感识别
• 二维网状
• 时空特征
• 卷积循环神经网络
• 混合模型

提出一种脑电图(electroencephalograph,简称EEG)数据表示方法,将一维链式EEG向量序列转换成二维网状矩阵序列,使矩阵结构与EEG电极位置的脑区分布相对应,以此来更好地表示物理上多个相邻电极EEG信号之间的空间相关性.再应用滑动窗将二维矩阵序列分成一个个等长的时间片段,作为新的融合了EEG时空相关性的数据表示.还提出了级联卷积-循环神经网络(CASCCNNLSTM)与级联卷积-卷积神经网络(CASCCNNCNN)这两种混合深度学习模型,二者都通过CNN卷积神经网络从转换的二维网状EEG数据表示中捕获物理上相邻脑电信号之间的空间相关性,而前者通过LSTM循环神经网络学习EEG数据流在时序上的依赖关系,后者则通过CNN卷积神经网络挖掘局部时间与空间更深层的相关判别性特征,从而精确识别脑电信号中包含的情感类别.在大规模脑电数据集DEAP上进行被试内效价维度上两类情感分类实验,结果显示,所提出的CASCCNNLSTM和CASCCNNCNN网络在二维网状EEG时空特征上的平均分类准确率分别达到93.15%和92.37%,均高于基准模型和现有最新方法的性能,表明该模型有效提高了EEG情感识别的准确率和鲁棒性,可以有效地应用到基于EEG的情感分类与识别相关应用中.

• 单位
  陕西科技大学