基于视觉注意力的学生课堂行为分析

作者：夏道勋; 田星瑜; 唐胜男

来源：贵州师范大学学报(自然科学版), 2021, 39(04): 83-120.

DOI：10.16614/j.gznuj.zrb.2021.04.012

• 视觉注意力
• 学生课堂行为检测
• 学生课堂行为识别
• 机器视觉
• 行为分析

学生课堂行为分析可实时反映出学生的课堂学习情况,为优化课堂教学策略和改进教学方法提供了重要依据,探索如何利用机器实时地检测与识别学生课堂行为是智慧教室的重要任务。以视觉显著性的视觉心理学动机为切入点,引入全局视觉显著性机制和BING特征,快速估计课堂视频流中的Objectness学生对象,采用Faster-RCNN模型和时空网络算法对8种典型学生课堂行为进行检测和识别,最后进行全样本学生课堂行为分析。实验结果表明,视觉注意力机制BING特征的引入能大幅度提升算法的实时数据处理能力,计算效率提升近80倍,约为12.5f/s,算法并对8种典型学生课堂行为的检测和识别具有较高的识别精度,平均准确率为87.6%。

• 单位
  贵州师范大学