科研之友
微信
新浪微博
Facebook
分享链接
摘要
深度学习网络对红外单一模态数据的学习表征能力具有一定的局限性，针对以上问题，提出基于多模态注意力网络的红外人体行为识别方法。由于深度学习网络模型无法直接对视频信息进行训练和分类，首先，通过预处理模块将得到的视频信息预处理成红外视图，再将得到的红外视图通过Sobel算子和基于L1范数的全变分光流法分别提取红外视图的边缘信息和光流信息得到边缘视图和光流视图；其次，将红外视图、边缘视图、光流视图分别输入到融合注意力机制模块的三流网络中进行特征学习；然后，对三流网络中每个网络提取的多模态特征进行融合；最后，将融合得到的特征向量输入到随机森林进行训练和分类。在公开数据集NTU RGB+D和自建数据集上的实验结果，表明了该方法具有不错的识别效果。
- 单位
