基于深度学习和姿态驱动下特征集成的视频人体动作识别方法

作者：杨海红

来源：九江学院学报(自然科学版), 2022, 37(02): 59-64.

DOI：10.19717/j.cnki.jjun.2022.02.014

• 深度学习
• 姿态驱动
• 特征集成
• 动作识别

基于姿态的方法仅将一系列人体骨骼信息提取出来作为输入，但仍然会存在姿态估计不准确的问题。因此该方法尝试将RGB图像和姿态信息结合起来，然而训练一个既有表冠又有姿态的模型十分具有挑战性，通常会严重偏向表冠信息，导致泛化能力不足。该方法提出基于姿态驱动下的特征集成方式，通过观察姿态特征来动态地组合表冠和姿态信息，使得姿态流可以根据给定的姿态信息是否可靠来决定在特征集成过程中使用多少权重以及哪些表冠信息。实验结果表明，文章提出的动态融合算法在上下文内和上下文外的动作视频数据集上实现了优异且鲁棒的性能。

• 单位
  山西旅游职业学院