科研之友
微信
新浪微博
Facebook
分享链接
摘要
为了提升情感识别的准确率，从情绪视频引起的脑电（EEG）和功能近红外（fNIRS）数据中提取每个通道的信号之间的联系，并提出基于模态注意力多路图卷积神经网络(MA-MP-GF)的特征融合情感识别方法.将EEG和fNIRS数据构建为图结构数据，通过多路图卷积分别对每种模态的信号进行特征提取；利用模态注意力图卷积层融合不同模态通道间的连接信息.模态注意力机制可以赋予不同模态节点不同权重，使得图卷积层能够更加充分提取不同模态节点间连接关系.对采集的30个被试的4类情感数据进行实验测试，与仅EEG和仅f NIRS单模态识别结果相比，所提出的图卷积融合方法能够获得更高的识别准确率，分别提升了8.06%、22.90%；与当前常用的EEG-fNIRS融合方法相比，所提出的图卷积融合方法的平均识别准确率提升了2.76%～7.36%；图卷积融合方法在加入模态注意力后识别率最高提升了1.68%.
- 单位
