一种面向运动解码的EEG-fNIRS时频特征融合与协同分类方法

作者：刘晋瑞; 宋婷; 舒智林; 韩建达; 于宁波^*

来源：仪器仪表学报, 2022, 43(07): 165-173.

DOI：10.19650/j.cnki.cjsi.J2209389

• EEG
• fNIRS
• 时频特征融合
• 协同分类
• 运动解码

脑功能成像技术可以反映人体运动时的大脑生理变化，进而解码运动状态，但单模态信号反映的大脑生理信息存在局限性。为此，本文提出了一种基于EEG和fNIRS信号的时频特征融合与协同分类方法，利用脑神经电活动和血氧信息的互补特性提高运动状态解码精度。首先，提取EEG的小波包能量熵特征，使用双向长短期记忆网络(Bi-LSTM)提取fNIRS的时域特征，将两类特征组合得到包含时频域信息的融合特征，实现EEG和fNIRS不同层次特征的信息互补。然后，利用1DCNN提取融合特征深层次信息。最后，采用全连接神经网络进行任务分类。将所提方法应用于公开数据集，本文所提的EEG-fNIRS信号协同分类方法准确率为95.31%,较单模态分类高7.81%～9.60%。结果表明，该方法充分融合了两互补信号的时频域信息，提高了对左右手握力运动的分类准确率。

• 单位
  南开大学