基于3D骨架相似性的自适应移位图卷积神经网络人体行为识别算法

作者：闫文杰^*; 尹艺颖

来源：计算机科学, 2023, 1-11.

• 骨架动作分类
• 图卷积神经网络
• 行为识别
• 自适应移位

图卷积神经网络(Graph convolutional neural network， GCN）在基于3D骨架的人体行为识别领域取得了良好效果。然而，在大多数现有的GCN方法当中，对于行为动作图的构建都是基于人体物理结构的手动设置，训练阶段各个图节点只能根据手动设置建立联系，无法感知动作行为过程中骨骼节点之间产生的新联系，从而造成图拓扑结构的不合理和不灵活。移位图卷积网络通过改变图网络结构使得感受野更加灵活，并且在全局移位角度取得良好效果。因此，本文提出了一种基于自适应移位图卷积神经网络(adaptive shift graph convolutional neural network， AS-GCN)的人体行为识别算法来克服前述GCN方法的缺点。AS-GCN借鉴了移位图卷积网络的思想，提出了用每个人体动作的本身特点来指导图神经网络进行移位操作，以尽可能准确的选定需要扩大感受野的节点。在基于骨架的通用动作识别数据集NTU-RGBD上，算法在骨骼有无物理关系约束的前提条件下均进行了实验验证。与现有的先进算法相比，AS-GCN算法的动作识别准确率在有骨骼物理约束的条件下的CV和CS角度上平均提高了12%和4.84%；在无骨骼物理约束的条件下的CV和CS角度上平均提高了20%和14.49%。

• 单位
  河北工业大学