基于时序时空双流卷积的异常行为识别

作者：张仁路; 高丙朋

来源：现代电子技术, 2023, 46(03): 81-87.

DOI：10.16652/j.issn.1004-373x.2023.03.016

• 异常行为识别
• 双流卷积
• 长短期记忆网络
• 特征提取
• 特征融合
• 深度学习

针对地铁站特定场合下，人体异常行为识别无法有效利用帧间运动时间维度信息，导致人体异常行为识别准确率不高的问题，提出一种深层次残差长短期双流网络结构。将RGB帧和连续光流帧作为双流网络的输入，分别利用ResNet34提取低层特征信息，空间流网络提取运动外观特征信息，时间流网络提取光流运动信息，然后将特征信息输入长短期记忆（LSTM）网络，有效学习空间外观和光流运动的帧间关联时间信息，并且通过多种加权融合策略加强模型识别效果。最后在地铁站异常行为数据集上验证提出的网络结构，并与原双流网络进行对比，改进后的网络识别准确率提高了4.7%，融合后的模型准确率提高了12.9%。实验结果表明，所提方法能够充分利用时间维度信息，可有效提高异常行为识别准确率，在昏暗环境下仍有较好的识别效果。

• 单位
  新疆大学