结合低秩分解与多流融合的行为识别方法

作者：黄思翔; 高陈强; 陈旭; 赵悦; 杨烽

来源：重庆邮电大学学报(自然科学版), 2021, 1-10.

• 行为识别
• 深度学习
• 低秩分解
• 多流融合

运动信息对行为识别任务至关重要。现有方法仅利用了局部运动信息，忽略了全局运动信息的重要作用。为解决该问题，本文提出了一种基于低秩分解与多流融合的行为识别方法。方法通过三条支路分别提取视频的特征，第一条支路利用低秩分解提取全局运动信息；第二条支路提取视频的光流特征以得到局部运动信息；第三条支路利用原始视频作为输入，以保留完整的空域信息。最后将三条支路的预测结果进行后融合，得到最终的行为识别结果。通过多流融合，本文方法能够充分利用视频的多尺度时域运动信息和丰富的空域信息，提高了现有模型的行为识别能力。实验结果表明，提出方法在经典可见光以及红外视频行为识别数据集上优于现有模型的多流融合的行为识别方法。

• 单位
  通信与信息工程学院; 重庆邮电大学