融合空间-时间双网络流和视觉注意的人体行为识别

作者：刘天亮^*; 谯庆伟; 万俊伟; 戴修斌; 罗杰波

来源：电子与信息学报, 2018, 40(10): 2395-2401.

• 人体行为识别
• 光流
• 双重时空网络流
• 视觉注意力
• 卷积神经网络
• 长短时记忆神经网络

该文受人脑视觉感知机理启发,在深度学习框架下提出融合时空双网络流和视觉注意的行为识别方法。首先,采用由粗到细Lucas-Kanade估计法逐帧提取视频中人体运动的光流特征。然后,利用预训练模型微调的GoogLeNet神经网络分别逐层卷积并聚合给定时间窗口视频中外观图像和相应光流特征。接着,利用长短时记忆多层递归网络交叉感知即得含高层显著结构的时空流语义特征序列;解码时间窗口内互相依赖的隐状态;输出空间流视觉特征描述和视频窗口中每帧标签概率分布。其次,利用相对熵计算时间维每帧注意力置信度,并融合空间网络流感知序列标签概率分布。最后,利用softmax分类视频中行为类别。实验结果表明,与其他现有方法相比,该文行为识别方法在分类准确度上具有显著优势。

• 单位
  南京邮电大学