一种利用脑电信号和视觉特征进行图像重构的方法

作者:何立火; 汪文豪; 陈欣雷; 柯俊杰; 王笛; 高新波; 路文
来源:2023-05-19, 中国, CN202310566689.3.

摘要

本发明公开了一种利用脑电信号和视觉特征进行图像重构的方法,包括以下步骤;步骤1:构建脑电信号数据集;步骤2:对脑电信号数据集中的原始脑电信号进行大脑偏侧化;步骤3:构建基于注意力机制的脑电信号编码模块,将经过大脑偏侧化处理的脑电信号中提取与视觉特征相关的关键信息,为脑内视觉处理提供更加精细和准确的特征表达;步骤4:构建脑内视觉图像重建模块,用于在提取出关键视觉特征的基础之上,生成相应类别的视觉刺激图像;步骤5:实验设置与训练,在极大极小博弈环境中同时训练生成器和鉴别器,解决训练过程中过拟合的问题。本发明利用脑电特征和视觉特征的双重指导深度卷积生成对抗网络训练,可以有效地重建脑内的视觉图像。