本发明公开了一种驾驶员行为识别方法、系统、装置及存储介质,其中方法包括：获取摄像头拍摄的视频数据,根据视频数据提取驾驶员骨架关键点坐标；采用姿态引导的视觉特征提取器和视觉引导的姿态特征提取器分别提取视觉特征和驾驶员姿态特征；通过多模态双向交互机制,使得两模态之间的信息双向交互,提升模型的表征能力,并输出驾驶员行为识别结果。本发明有效地利用了模态间的互补信息,具有更强的表征能力,所以驾驶员行为的识别结果的准确度更高。本发明可广泛应用于智能识别技术领域。
科研之友
微信
新浪微博
Facebook
分享链接
