一种融合全局时空特征的CNNs动作识别方法

作者：王珂; 武军; 周天相; 李瑞峰

来源：华中科技大学学报(自然科学版)科技大学, 2018, 46(12): 36-41.

DOI：10.13245/j.hust.181207

• 动作识别
• 卷积神经网络
• 能量运动历史图
• 全局时域特征
• 数据集

针对基于卷积神经网络(CNNs)的人体动作识别方法通常采用空域或时域局部特征的不足,提出一种融合人体动作全局时域和空间特征的双通道CNNs动作识别模型.空间通道对动作图像进行深度学习,采用多帧融合的方式提升准确率,全局时域通道对能量运动历史图(EMHI)进行深度学习,最后融合两个通道信息识别人体动作.利用现有的大型数据集进行预训练,以解决学习过程中训练样本不足问题.在UCF101数据集和该项目小样本数据集上进行实验,结果证明了该方法的有效性.

• 单位
  机器人技术与系统国家重点实验室; 哈尔滨工业大学