基于光流和深度运动图的行为识别算法

作者：季雄武; 张永辉^*; **

来源：海南大学学报(自然科学版), 2020, 38(02): 116-123.

DOI：10.15886/j.cnki.hdxbzkb.2020.0017

• 人体行为识别
• 光流
• RGB
• 深度运动图像
• ResNet101
• LSTMs

为了融合不易受光照等环境因素影响的深度信息和RGB视频序列中丰富的纹理信息,提出一种基于光流和深度运动图(Depth Motion Map,DMM)的人体行为识别算法.首先从RGB视频序列获取彩色信息(RGB视频帧)和光流信息,并且从同步的深度视频序列获取深度信息,以增强特征互补性,其次把3种特征信息分别作为基于ResNet101的空间流网络、时间流网络和深度流网络的输入,通过LSTMs进行特征融合,最后将特征送入Softmax层得到每个行为类别的概率值.实验结果表明,在具有挑战性的UTD-MHAD数据集和MSR Daily Activity 3D数据集上的行为识别准确率分别为94.86%和97.69%,在与该领域中的同类算法比较中表现优异.