基于双流卷积与双中心loss的行为识别研究

作者：毛志强; 马翠红^*; 崔金龙; 王毅

来源：微电子学与计算机, 2019, 36(03): 96-100.

DOI：10.19304/j.cnki.issn1000-7180.2019.03.020

• 双流卷积网络
• 中心loss
• 长短时记(LSTM)
• 光流图

针对行为视频中相似动作类内差异大、类间差异小,识别准确率不高的问题,提出了一种基于双流卷积网络与双中心loss的行为识别方法.该方法首先构建双流卷积网络结构,以C3Dnet模型作为双流结构的基础模型,分别提取多尺度RGB视频帧中的表观短时运动信息和堆叠光流图中的长时运动信息;然后将双流结构提取的深度信息经长短时记忆(LSTM)网络解析后进行特征融合;最后,利用基于双中心loss的2C-softmax目标函数,来最大化类间距离和最小化类内距离,从而实现相似动作的分类与识别.在数据集KTH上的实验结果表明,该方法能够准确识别相似动作,识别准确率可达98.2%,具有很好的识别效果.

• 单位
  华北理工大学; 北京交通大学海滨学院