基于多流卷积神经网络的行为识别

作者：周波; 李俊峰^*

来源：计算机系统应用, 2021, 30(08): 118-125.

DOI：10.15888/j.cnki.csa.007534

• 神经网络
• 行为识别
• 深度学习
• 姿态估计
• 机器视觉

人体行为识别与人体姿态有很强的相关性,由于许多公开的行为识别的数据集并未提供相关姿态数据,因此很少有将姿态数据进行训练并与其它模态进行融合的识别方法.针对当今主流基于深度学习的人体行为识别方法采用RGB与光流融合的现状,提出一种融合人体姿态特征的多流卷积神经网络人体行为识别算法.首先,用姿态估计算法从包含人的静态图片生成人体关键点数据,并对关键点连接构建姿态;其次,分别将RGB、光流、姿态数据对多流卷积神经网络进行训练,并进行分数融合;最后,在UCF101与HMDB51数据集进行了大量的消融,识别精度等方面的实验研究.实验结果表明,融合了姿态图像的多流卷积神经网络在UCF101与HMDB51数据集的实验精度分别提高了2.3%和3.1%.实验结果验证了提出算法的有效性.

• 单位
  浙江理工大学