基于Mask R-CNN与SG滤波的手势识别关键点特征提取方法

作者：王婧瑶; 王红军^*

来源：电子测量与仪器学报, 2021, 35(09): 41-48.

DOI：10.13382/j.jemi.B2003749

• 计算机视觉
• 手势识别
• 关键点提取
• Mask R-CNN
• Savitzky-Golay滤波

手势识别是人机交互的重要手段。为了精确识别手势并摒除光照等环境干扰,同时减除由于手部高维运动造成的关键点剧烈抖动的问题,提出一种基于基于蒙版区域的卷积神经网络(Mask Region-based convolutional neural network, Mask R-CNN)与多项式平滑算法(Savitzky-Golay, SG)的手势关键点提取方法。该方法首先对输入的红绿蓝(RGB)三通道图像进行特征提取与区域分割,获得手部的实例分割与掩码。然后利用ROIAling及功能性网络进行目标匹配,标记出22个关键点(21个骨骼点+1个背景点)。将标记后结果送入SG滤波器进行数据平滑,并进行骨骼点的重新标定。从而得到稳定的手势提取特征。对模型进行对比实验,结果表明,该方法能够最大程度摒除环境干扰,并精准提取关键点。与传统基于轮廓分割的手势关键点提取相比,模型的鲁棒性大大提高,识别精度达到93.48%。

• 单位
  北京信息科技大学; 机电工程学院; 自动化学院; 北京工业大学