基于多模态语义分析的试题推荐方法

作者：王士进; 汪成成^*; 张丹; 魏思; 王渊

来源：中文信息学报, 2023, 37(05): 165-172.

• 教育资源
• 多模态
• 试题推荐

在教育场景下，教育资源推荐是一项关键且基础的任务，教育资源呈现出显著的多源、异构和多模态特性，给教育资源的理解、应用带来了巨大的挑战。对此，该文提出了一种基于多模态语义分析的试题推荐方法：首先进行多模态教育资源的特征抽取以及不同模态数据之间的语义关联，构建多模态教育资源的理解表示框架；并利用相同领域任务进行多模态视频和试题特征的预训练，进行关联知识建模；最后，利用线上收集的数据进行视频-试题关联特征微调，得到更加鲁棒的特征表示，进行多模态教学视频的相关性试题推荐。在教育领域数据集上的实验结果表明，该文所提出的方法能有效提升现有方法的效果，具有很好的应用价值。