基于多模态学习的试题知识点分类方法

作者：李洋洋; 谭曦; 陈艳平^*; 唐瑞雪; 唐向红; 林川

来源：中文信息学报, 2023, 37(07): 143-151.

• 知识点分类
• 文本卷积神经网络
• 多模态融合
• 协同注意力机制

试题知识点分类是智慧教育中的一个核心技术支撑。传统试题知识点分类方法往往忽略了试题图片与试题文本之间的深层语义关联。针对上述问题，该文提出了一种基于多模态学习的试题知识点分类方法。该方法鉴于不同模态的试题特征之间存在互补关系，采用协同注意力机制(Co-attention)分别获取试题文本引导的试题图片特征和试题图片引导的试题文本特征；然后通过门控机制动态地对两者的特征进行融合表示，以获取更丰富的试题语义信息。实验结果表明，在某教育机构提供的物理试题数据集上，一级知识点和二级知识点的分类准确率可以分别达到95.09%和83.18%,Macro-F1值可以分别达到64.20%和50.63%。通过分析发现，多模态学习能有效弥补小样本试题知识点分类中的特征稀疏问题。因此，该方法可有效支撑智慧教育中的试题知识点分类。

• 单位
  贵州大学