摘要

针对目前利用时空图卷积网络ST-GCN行为识别模型进行人体行为识别准确性有待提高和如何更好地学习骨骼数据中关节点和骨架边所表达的动作特征等问题,改进现有的时空图卷积网络(ST-GCN)行为识别模型。首先,使用有向图来表示关节点和骨骼边的信息以及它们之间的依赖关系,提取相邻帧的关节位置差异作为运动信息;其次,使用双流框架分别学习运动信息和空间信息,进行融合提高识别性能;最后,使用注意力权重矩阵让图的拓扑结构具有自适应性,增大节点的感受野,使网络能够学习到远端关节之间的语义信息,更好的捕捉动作特征。将所提出的方法在NTURGB+D数据集上进行实验。研究结果表明,采用基于时空图卷积网络改进的人体行为识别方法在数据集上达到了96%的准确率,与现有ST-GCN模型相比,准确率提高了。此方法可进一步促进人体行为识别技术在智能家居、智能监控安防、人机交互、基于内容的视频检索、智慧城市发展等领域的广泛应用。