摘要

根据库恩关于科学范式的定义,多模态研究可以视为一个类似于计算机科学中"多核并行架构"、综合多种路径的整合性研究范式。多模态概念可归结为三个:1)将其视为感官及相应的神经系统; 2)将其视为在社会文化中形成的创造意义的符号资源; 3)将其定义为人机交互中的信息呈现方式。多模态研究的路径及领域包括:1)符号学属性的研究; 2)语料库语言学研究; 3)神经科学、人机交互与学习科学中的研究。目前,多模态研究范式下的不同路径被应用于多个领域,正向探索人类多模态互动的脑机制、行为规律等基础性研究以及多模态应用性研发两个方向不断拓展。

全文