摘要

多模态学习分析是多模态交互、学习科学、机器学习等领域交叉形成的一个新方向,它利用多模态数据对复杂环境下的学习行为进行分析以优化学习体验。在空间结构上,多模态学习分析以学习机理为核心,以多模态交互、多模态感知、多模态语义理解为技术支撑,形成跨模态、跨空间、跨数据、跨分析的独特体系。在数据分类上,多模态学习分析涵盖学习体征数据、人机交互数据、学习资源数据和学习情境数据,形成以学习者为中心的内外数据链相融合的数据生态。在分析模型上,以传感器捕获、语义解析、机器学习、反馈解释为分析过程,以模式识别、学习分类、预测、行为变化为分析结果。未来多模态学习分析在自动化数据采集、跨空间分析建模、可扩展分析工具、学习计算、数据隐私保护等方面还有进一步的研究空间。