基于双向深度生成模型和功能磁共振成像数据的大脑编码和解码OA

作者：杜长德; 李劲鹏; 黄利皆; 何晖光^*

来源：Engineering, 2019, 5(05): 293-305.

• 大脑编码和解码
• 功能磁共振成像
• 深度神经网络
• 深度生成模型
• 对偶学习

通过功能磁共振成像(fMRI)进行大脑编码和解码是视觉神经科学的两个重要方面。尽管以前的研究人员在大脑编码和解码模型方面取得了显著进步,但是现有方法仍需要使用先进的机器学习技术进行改进。例如,传统方法通常会分别构建编码和解码模型,并且容易对小型数据集过度拟合。实际上,有效地统一编码和解码过程可以进行更准确的预测。在本文中,我们首先回顾了现有的编码和解码方法,并讨论了"双向"建模策略的潜在优势。接下来,在体系结构和计算规则方面,我们证明了深度神经网络和人类视觉通路之间存在的对应关系。此外,深度生成模型[如变分自编码器(VAE)和生成对抗网络(GAN)]在大脑编码和解码研究中产生了可喜的成果。最后,我们提出了最初为机器翻译任务设计的对偶学习方法,该方法通过利用大规模未配对数据提高了编码和解码模型的效果。

• 单位
  模式识别国家重点实验室; 中国科学院; 中国科学院大学