基于注意力机制和特征融合的课堂抬头率检测算法

作者：倪童; 桑庆兵

来源：计算机工程, 2021, 1-11.

DOI：10.19678/j.issn.1000-3428.0061107

• 抬头率
• 课堂视频
• 注意力机制
• 特征融合
• 空洞卷积

课堂教学是整个教育任务中的重要环节，为加强教学情况正反馈，提高课堂抬头率检测的准确性，结合注意力机制和特征融合提出一种课堂抬头率检测算法。网络输入除了使用原图外还引用了另一种视觉特征RGB difference，两种输入经过特征提取网络后融合得到信息更丰富的深层特征，并提出一种改进的注意力模型（ICBAM）加载至特征提取网络上，改进的注意力模型使用双流结构应用通道注意力和空间注意力，且在通道注意力和空间注意力中加入空洞卷积，过滤输入特征中的冗余特征，减轻网络对背景等无用特征的关注，并设计精炼模块对预测结果进一步优化。实验结果表明，本文算法在抬头率检测数据集RDS上平均抬头率误差达到了15.648%，相比于当前主流抬头率检测算法具有更低的误差率。此外，还在本文算法的基础上实现了课堂行为分析软件。

• 单位
  江南大学