摘要
本发明公开了基于3D卷积和SPP的多模态动态手势识别方法,包括如下步骤:数据预处理,从RGB视频序列中提取光流特征和灰度特征,分别得到光流序列样本和灰度序列样本,并将每个光流序列样本和灰度序列样本及深度序列样本规整为32帧,每个样本维度为32×112×112;数据增强,通过平移、翻转、加噪及仿射变换,扩增序列样本数据集;神经网络训练,将灰度序列样本、光流序列样本、深度序列样本分别输入相同的网络结构,分别训练三个网络进行手势判别;模型集成,将三个网络对序列样本的分类结果进行集成,得到最终的判别结果;采用本发明技术方案能够提高手势识别的准确度。
- 单位