科研之友
微信
新浪微博
Facebook
分享链接
摘要
本发明公开了一种基于空间增强模块的视频行为识别方法及系统,该方法包括下述步骤：将待测视频解码为帧序列,将解码所得帧序列以图像的形式存储；采取稀疏采样的采样策略,将视频分成多个视频片段,从每个视频片段中抽取一帧,组合而成堆叠的帧序列；计算行为识别数据集中所有的训练视频帧的三个通道的均值,将所采样的帧图像减去所计算出来的均值；用残差神经网络3D-ResNet-18为骨干网络,空间增强模块构建行为识别分类网络；设置训练参数,将训练集输入行为识别分类网络进行训练,保存训练后网络参数；在模型部署阶段,融合空间增强模块的线性运算符；待测视频输入到行为识别分类网络,输出最终的分类结果。本发明提升了行为识别效果,兼具有效性与通用性。
- 单位
