面向时空特征融合的GSTIN动作识别网络

作者：李克文; 张震涛^*; 李素杰; 雷永秀

来源：计算机应用研究, 2021, 38(08): 2479-2484.

DOI：10.19734/j.issn.1001-3695.2020.08.0392

• 深度学习
• 动作识别
• 双流卷积神经网络
• 三维卷积神经网络
• 时空特征融合

视频动作识别是计算机视觉领域一个十分具有挑战性的课题,主要任务是利用深度学习等视频智能分析技术识别的深层信息推导出视频人体行为动作。通过结合双流卷积神经网络和三维卷积神经网络的结构特点,提出了一种面向时空特征融合的GSTIN(Goog Le Net based on spatio-temporal intergration network)。GSTIN中设计了时空特征融合模块In BST(inception blend spatio-temporal feature),提升网络对空间特征与时间特征的利用能力;在时空特征融合模块In BST基础上,构建了适合动作识别的多流网络结构。GSTIN在动作识别数据集UCF101、HMDB51上识别精度分别达到了93.8%和70.6%,这表明GSTIN与其他动作识别网络相比具有较好的识别性能。

• 单位
  中国石油大学（华东）