时空关联的Transformer骨架行为识别

作者：卢先领; 杨嘉琦

来源：信号处理, 2023, 1-10.

• Transformer网络
• 人体骨架
• 多尺度卷积
• 运动信息
• 动作识别

目前主流的骨架行为识别方法采取关节流、骨骼流及其对应的运动流作为多流网络分别进行训练，造成训练成本高，另外，在特征提取过程中，忽略了对复杂时空依赖关系的建模，以及在时域上的信息交流采取大尺度卷积，导致聚合大量冗余信息。针对以上问题，提出一种时空关联的Transformer骨架行为识别方法。首先，构建运动融合模块，以关节流和骨骼流作为双流输入，在特征级别将各自的运动信息进行融合，减少单独训练运动流的成本；其次，提出移位Transformer模块，利用时间移位操作混合时空信息的特性，配合Transformer低成本地捕获短期时空依赖关系；然后，设计多尺度时间卷积进行时域长期信息交流；最后，融合双流得分获得最终分类预测。在大规模数据集NTU RGB+D以及NTU RGB+D 120上进行实验，结果表明，该模型在NTU RGB+ D数据集的两种评价标准X-Sub和X-View上分别达到了91.5%和96.3%的识别准确率，在NTU RGB+D 120数据集两种评价标准X-Sub和X-Set上分别达到了87.2%和89.3%的识别准确率，本文所提方法的识别准确率相对主流骨架行为识别方法有明显提升，验证了模型的有效性和通用性。

• 单位
  江南大学