基于时空双流卷积与LSTM的人体动作识别

作者：毛志强; 马翠红^*; 崔金龙; 王毅

来源：软件, 2018, 39(09): 9-12.

• 人体动作识别
• 时空模型
• 卷积神经网络(CNN)
• 长短时记忆(LSTM)

针对公共区域等特定场合下人体动作识别准确率不高,时间维度信息不能充分利用等问题,提出了一种基于时空双流卷积与长短时记忆(LSTM)网络的人体动作识别模型。该模型首先采用时空双流卷积神经网络分别提取动作视频序列中的时间和空间特征;然后融合双流卷积结构提取到的全连接层的时空特征;最后将时空融合特征输入到LSTM网络递归学习时间维度长时运动特征并结合线性SVM分类器实现人体动作的分类与识别。在动作视频数据集KTH上的实验结果表明,该模型能够充分利用时间维度信息,且识别准确率可达97.5%,优于其他行为识别算法。

• 单位
  北京交通大学海滨学院; 华北理工大学