摘要
本发明公开了一种基于3D注意力残差模型的人体行为识别方法及系统,包括步骤:1)获取人体行为视频数据集:采集YouTube网站视频、下载UCF101和Kinetics-400公共数据集,以及通过单目摄像头采集的视频数据;2)对步骤1)的视频数据进行预处理操作,包括视频帧转换和关键帧提取,并制作数据集;3)建立3D注意力残差模型,并对步骤2)所得到的数据集提取特征;4)利用Softmax分类器对步骤3)所得到的特征进行分类、识别,实现模型训练;5)根据实际场景或现实需求对步骤4)训练好的模型进行迁移,并对其进行微调,提升其泛化能力,最后将微调好的模型应用于实际的人体行为识别任务中。本发明提高多类别和复杂视频场景处理的实时人体行为分析,具有广泛的研究和实际应用价值。
- 单位