Uni-LSDPM：基于预训练的统一在线学习会话退出预测模型

作者：陈芮; 王占全^*

来源：计算机研究与发展, 2023, 1-17.

• 注意力机制
• 学习会话
• 退出预测
• 智能辅导系统
• 预训练

为了辅助学习者维持在线学习的连贯性以引导最优学习路径的执行，智能辅导系统需要及时发现学习者退出学习的倾向，在合适的时间采取相应的干预措施，因此，在线学习会话退出预测研究十分必要.然而，与传统的课程辍学相比，会话退出发生的频率更高，单次学习时长更短，故需要在有限的行为数据中对学习会话退出状态进行准确预测.因此，学习行为的碎片性和预测结果的即时性、准确性是学习会话退出预测任务的挑战和难点.针对会话退出预测任务，提出了一种基于预训练-微调的统一在线学习会话退出预测模型 （unified learning session dropout prediction model，Uni-LSDPM）.该模型采用多层Transformer结构，分为预训练阶段和微调阶段.在预训练阶段，使用双向注意机制对学习者连续行为交互特征序列的特征表示进行学习.在微调阶段，应用序列到序列（sequence-to-sequence，Seq2Seq）的注意力机制对学习者连续行为交互特征序列与退出状态联合序列进行学习.基于EdNet公共数据集对模型进行预训练和微调，通过消融实验以获得最佳预测效果，并基于多个数据集进行了对比测试实验.实验结果表明，Uni-LSDPM在AUC和ACC方面优于现有的模型，并证明该模型具有一定的鲁棒性和扩展性.

• 单位
  华东理工大学