基于2D CNN和Transformer的人体动作识别

作者：朱相华; 智敏^*; 殷雁君

来源：电子测量技术, 2022, 45(15): 123-129.

DOI：10.19651/j.cnki.emt.2209232

• 人体动作识别
• 2D CNN
• 通道-空间注意力模块
• Transformer

人体动作识别是计算机视觉领域的研究热点之一，在人机交互、视频监控等方面具有深远的理论研究意义。为了解决2D CNN无法有效获取时间关系等问题，利用Transformer在建模长期依赖关系上的优势，引入Transformer架构并将其与2D CNN相结合用于人体动作识别，以更好地捕获上下文时间信息。首先使用融合通道-空间注意力模块的2D CNN提取强化的帧内空间特征，其次利用Transformer捕捉帧间的时间特征，最后应用MLP Head进行动作分类。实验结果表明在HMDB-51数据集和UCF-101数据集上分别达到了69.4%和95.5%的识别准确度。

• 单位
  内蒙古师范大学