三维卷积神经网络在多模态信号融合的运动想象中的研究

作者：陈思毅^*; 郭家志

来源：现代电子技术, 2023, 46(22): 131-136.

DOI：10.16652/j.issn.1004-373x.2023.22.023

• 三维卷积神经网络
• 多模态融合
• 运动想象
• 脑机接口
• 脑电图
• 功能性近红外光谱
• 时空相关性

非侵入性脑机接口（BCI）已广泛用于神经解码，能将神经信号连接到控制设备。使用脑电图（EEG）和功能性近红外光谱（fNIRS）的混合BCI系统因克服EEG和fNIRS独立BCI系统的局限性而受到了极大的关注。然而，由于时间分辨率和记录位置的差异，大多数混合脑电图与功能性近红外光谱的BCI研究都集中在晚期融合。尽管混合脑机接口的性能得到了提高，但融合方法在后期提取EEG信号和fNIRS信号中的相关特征方面仍存在困难。基于此，提出一种基于三维卷积神经网络的早期融合结构，首先将一维的EEG与fNIRS信号依据信号采集时的采集头位置转换为三维的脑电与近红外光谱张量，依据时间戳进行空间对齐；其次设计一种三维卷积神经网络来提取对齐后的脑电与近红外光谱信号之间的时空相关性，降低EEG的低空间分辨率，抑制fNIRS的低时间分辨率导致的性能下降。实验结果表明，所提算法性能明显优于EEG和fNIRS独立网络，运动想象的平均分类准确率达到了82.70%，验证了该方法的有效性。

• 单位
  自动化学院; 昆明理工大学