针对当前手势图像数据集不能均匀、全面地覆盖所有手势参数空间内的各种手势的问题,提出一种基于级联卷积神经网络的手势特征提取方法。该方法通过级联式模型,分层次地对高维度、高自由度的手势参数进行特征感知和提取。首先,将手腕角度参数作为手势参数的全局参数,进行划分和特征提取;然后,将手指角度参数作为局部参数,进行特征提取。为解决局部参数特征提取网络数量过多的问题,减少神经网络的数量和节约训练网络所需的时间与内存开销,采用多分支结构的神经网络模型,将五个手指的局部特征提取网络集成为一个整体。实验结果表明,所提方法在真实训练集上平均分类准确率达到95.13%,测试集平均准确率达到54%,测试集准确率相较于全卷积神经网络的算法提高了4.76个百分点。

手势主方向; 特征提取; 多分支结构; 级联卷积神经网络; 手势数据集

Guilin University of Electronic Technology