时空自适应图卷积神经网络的骨架行为识别

作者：曹毅; 刘晨; 黄子龙; 盛永健

来源：华中科技大学学报(自然科学版)科技大学, 2020, 48(11): 5-10.

DOI：10.13245/j.hust.201102

• 骨架行为识别
• 时间动作图
• 非局部结构
• 时域自适应图卷积
• 时空自适应图卷积

针对骨架行为识别缺乏全局上下文时间信息时域建模的能力、识别准确率与泛化性能均不理想的问题,提出了一种时间动作图的时间建模特征和一种时空自适应图卷积神经网络(ST-AGCN)骨架行为识别模型.首先,介绍了图表示理论与骨架序列,并设计了时间动作图和基于N阶固定时间结构的邻接矩阵;然后,基于非局部结构融合图卷积理论,提出了时域自适应图卷积网络(T-AGCN)结构;接着,结合空间自适应图卷积网络(S-AGCN)结构,提出了ST-AGCN骨架行为识别模型;最后,为验证该模型时域建模能力、识别准确率与泛化性能,基于NTU-RGB+D和SBU数据集开展了骨架行为识别实验.实验结果表明:该模型在上述数据集上的识别准确率最高分别为92.1%和99.5%,验证了该模型具有优秀的识别准确率和良好的泛化性能.

• 单位
  江南大学