一种视角无关的时空关联深度视频行为识别方法

作者：吴培良; 杨霄; 毛秉毅^*; 孔令富; 侯增广

来源：电子与信息学报, 2019, 41(04): 904-910.

DOI：10.11999/JEIT180477

• 视频行为识别
• 深度视频
• 视角无关
• 卷积神经网络
• 时空关联

当前行为识别方法在不同视角下的识别准确率较低,该文提出一种视角无关的时空关联深度视频行为识别方法。首先,运用深度卷积神经网络的全连接层将不同视角下的人体姿态映射到与视角无关的高维空间,以构建空间域下深度行为视频的人体姿态模型(HPM);其次,考虑视频序列帧之间的时空相关性,在每个神经元激活的时间序列中分段应用时间等级池化(RP)函数,实现对视频时间子序列的编码;然后,将傅里叶时间金字塔(FTP)算法作用于每一个池化后的时间序列,并加以连接产生最终的时空特征表示;最后,在不同数据集上,基于不同方法进行了行为识别分类测试。实验结果表明,该文方法(HPM+RP+FTP)提高了不同视角下深度视频识别准确率,在UWA3DII数据集中,比现有最好方法高出18%。此外,该文方法具有较好的泛化性能,在MSR Daily Activity3D数据集上得到82.5%的准确率。

• 单位
  中国科学院自动化研究所; 复杂系统管理与控制国家重点实验室; 燕山大学