基于时移和片组注意力融合的双流行为识别网络

作者：肖子凡; 刘逸群; 李楚溪; 张力; 王守岩; 肖晓^*

来源：计算机系统应用, 2022, 31(01): 204-211.

DOI：10.15888/j.cnki.csa.008242

• 行为识别
• 双流深度网络
• 时移模块
• 片组注意力

基于深度学习的行为识别算法往往由于复杂的网络设计而难以在实际应用中达到快速、准确的识别效果.针对以上情况,提出一种轻量型的基于时移和片组注意力融合的端到端双流神经网络模型.算法在RGB与光流分支网络中,采用时间稀疏分组随机采样策略实现长时程建模,利用时移模块在时间维度上置换部分通道从而结合邻帧信息来提升时序表征能力,同时通过多路径及特征图注意融合的片组注意力模块提升网络的识别性能.实验表明,模型在行为识别公共数据集UCF101及HMDB51上分别达到了95.00%和72.55%的识别准确率.

• 单位
  复旦大学