科研之友
微信
新浪微博
Facebook
分享链接
摘要
针对现有的人体骨架动作识别方法对肢体信息挖掘不足以及时间特征提取不足的问题，提出了一种基于姿态校正模块与姿态融合模块的模型PTF-SGN,实现了对骨架图关键时空信息的充分利用。首先，对骨架图数据进行预处理，挖掘肢体和关节点的位移信息并提取特征；然后，姿态校正模块通过无监督学习的方式获取姿态调整因子，并对人体姿态进行自适应调整，增强了模型在不同环境下的鲁棒性；其次，提出一种基于时间注意力机制的姿态融合模块，学习骨架图中的短时刻特征与长时刻特征并融合长短时刻特征，加强了对时间特征的表征能力；最后，将骨架图的全局时空特征输入到分类网络中得到动作识别结果。在NTU60 RGB+D、NTU120 RGB+D两个3D骨架数据集和Penn-Action、HARPET两个2D骨架数据集上的实验结果表明，该模型能够有效地识别骨架时序数据的动作。
- 单位
