基于骨架引导多模态融合神经网络的行为识别方法

作者：谢雪梅; 曹玉晗; 潘庆哲; 李佳楠; 赵至夫; 石光明

来源：2019-07-18, 中国, ZL201910650238.1.

本发明公开了一种基于骨架引导多模态融合神经网络的行为识别方法。其步骤为：(1)构建RGB图像特征提取网络；(2)构建骨架特征提取网络；(3)构造特征引导模块；(4)构建融合模块；(5)搭建骨架引导多模态融合神经网络；(6)训练骨架引导多模态融合神经网络；(7)识别视频中的人体行为；本发明采用骨架引导多模态融合神经网络,用于识别相机拍摄到的视频中的人体行为,能够有效解决现有技术彻底分离了同一视频信号的不同特征进而不能准确的表示视频特征的问题,本发明具有能准确表示视频特征,对视频中人体行为识别精确的优点。

• 单位
  西安电子科技大学