基于RGB-D视频的多模态手势识别

作者：马正文; 蔡坚勇^*; 刘磊; 欧阳乐峰; 李楠

来源：计算机系统应用, 2018, 27(12): 234-239.

DOI：10.15888/j.cnki.csa.006669

• 手势识别
• 稠密连接的3DCNN
• 卷积GRU
• 时空域特征

本文是对SKIG RGB-D多模态的孤立手势视频进行手势识别研究.首先将RGB和Depth两种单模态视频提取成图片的形式保存,然后采样成长度为32帧的手势序列分别输入到本文提出的稠密连接的3DCNN组件学习短期的时空域特征,然后将提取的时空域特征输入到卷积GRU网络进行长期的时空域特征学习,最终对单模态训练好的网络进行多模态融合,提升网络识别准确率.本文在SKIG数据集上取得了99.07%的识别准确率,达到了极高的准确率,证明了本文提出的网络模型的有效性.

• 单位
  福建师范大学