基于深度学习的人体跟踪与异常行为识别联合算法

作者：李俊鹏; 姬晓飞; 赵东阳

来源：沈阳航空航天大学学报, 2022, 39(04): 51-59.

• 人体跟踪
• 异常行为识别
• RT-MDNet
• LSTM
• 特征共享
• CASIA
• 深度学习

基于深度学习的人体跟踪与异常行为识别算法在实现的过程中，都需要对人体目标进行特征提取。为了优化两次重复的特征提取过程，提高网络工作效率，提出了人体跟踪与异常行为识别联合算法。通过实时多域卷积神经网络(RT-MDNet)实现人体目标的跟踪，以不同的异常行为作为人体跟踪的不同操作域，提取人体目标的共性特征，实现人体的实时跟踪。同时，抽取RT-MDNet网络卷积层输出的高维特征图谱，将特征图谱与长短时记忆网络(LSTM)相结合，通过把握特征间的时序信息，实现异常行为的分类。在中科院提供的CASIA行为分析数据集中选取了6种异常行为对网络模型进行训练和测试。实验结果表明，该模型能够准确实时地跟踪人体目标，同时也能将跟踪目标的行为进行分类，识别率达到89.7%。基于深度学习的人体跟踪与异常行为识别联合算法，将人体目标的特征共享于跟踪与识别，实现了跟踪与识别的有效结合。

• 单位
  自动化学院; 沈阳航空航天大学