一种面向认知诊断的多模态去偏方法

作者：吴乐; 陈祥志; 刘菲; 张琨; 洪日昌; 汪萌

来源：2023-10-13, 中国, CN202311326773.4.

本发明公开了一种面向认知诊断的多模态去偏方法,包括：1.构造多模态数据：学生-习题交互记录、习题侧图片、文本等数据；2.为每个模态构造单模态有偏认知诊断模型,模拟多模态有偏认知诊断模型过度依赖单个模态的场景；3.构造多模态无偏认知诊断模型,在每轮训练中,如果样本在单模态有偏模型在该轮输出的交叉熵越大(越小),无偏模型训练时则会通过提升(降低)权重实现去偏,让模型关注对该模态的建模。4.有偏模型与无偏模型每轮先后交替同步训练,直至收敛。本发明利用多个单模态有偏模型辅助多模态无偏模型的思想,通过样本在单模态有偏模型中的熵对多模态无偏模型训练时样本重加权,能有效缓解认知诊断中的多模态偏差问题。

• 单位
  合肥工业大学