基于改进YOLOv3的手势实时识别方法

作者：张强; 张勇; 刘芝国; 周文军; 刘佳慧

来源：计算机工程, 2020, 46(03): 237-253.

DOI：10.19678/j.issn.1000-3428.0054222

• 手势识别
• YOLOv3模型
• Kinect设备
• 聚类算法
• 迁移学习

针对基于人工建模方式的手势识别方法准确率低、速度慢的问题,提出一种基于改进YOLOv3的静态手势实时识别方法。采用卷积神经网络YOLOv3模型,将通过Kinect设备采集的IR、Registration of RGB、RGB和Depth图像代替常用的RGB图像作为数据集,并融合四类图像的识别结果以提高识别准确率。采用k-means聚类算法对YOLOv3中的初始候选框参数进行优化,从而加快识别速度。在此基础上,利用迁移学习的方法对基础特征提取器进行改进,以缩短模型的训练时间。实验结果表明,该方法对流式视频静态手势的平均识别准确率为99.8%,识别速度高达52 FPS,模型训练时间为12 h,与Faster R-CNN、SSD、YOLOv2等深度学习方法相比,其识别精度更高,识别速度更快。

• 单位
  合肥工业大学