融合运动轨迹特征的多模态群体行为识别方法

作者：王世辉; 祝永新; 汪辉; 郑小盈

来源：微电子学与计算机, 2021, 38(11): 7-13.

DOI：10.19304/J.ISSN1000-7180.2021.0341

• 群体行为识别
• 多模态
• 自注意力机制
• 长短时记忆网络

群体行为识别从群体层面出发,研究群体的行为及个体的动作并进行分类.准确的群体行为识别结果对安防监控、体育视频分析等领域有重要意义.针对目前基于LSTM的群体行为识别无法充分挖掘个体间在群体层面时空特征的问题,提出一种基于LSTM-Transformer的群体-个体时空特征融合群体行为识别模型.在此基础上,首次将运动轨迹特征融入群体行为识别中,提出融合运动轨迹特征的群体行为识别模型,进一步提升模型的识别效果.实验结果表明,相比现有基于LSTM的模型,所提出模型的群体行为识别准确率提升8.3%,个体动作识别准确率提升2.1%;相比基于GCN的模型,所提出模型不仅识别效果有所提升,而且可应对群体人数变化的场景.

• 单位
  中国科学院上海高等研究院; 中国科学院大学