面向视频动作识别的时空解耦卷积神经网络

作者：郝伟; 吕学强; 韩晶^*

来源：北京信息科技大学学报(自然科学版), 2023, 38(05): 19-24.

DOI：10.16508/j.cnki.11-5866/n.2023.05.003

• 视频动作识别
• 3D卷积
• 卷积神经网络
• 时间注意力
• 时空解耦

基于常规3D卷积的视频动作识别模型提取的时空特征是耦合的，无法有效区分动作类别，限制了其识别准确性。对此以最新的3D卷积视频动作识别网络为基础，设计了一种时空解耦模块，该模块包含时间和空间两个并行分支，分别沿时间方向和空间方向进行特征提取，最后将解耦的时空特征融合后输出。同时，为了降低冗余空间信息的影响，提出一种时间注意力模块，在时空解耦模块前对输入特征的冗余空间信息进行抑制。在HMDB51和UCF101数据集上进行了时空解耦模块和时间注意力模块的验证实验。实验结果表明，两种模块均能有效提高模型的识别准确率。在HMDB51数据集上的对比实验结果表明，时空解耦卷积神经网络模型准确率比基础网络MoViNetA0提高了2.66百分点。

• 单位
  北京信息科技大学