基于手势特征融合的操作动作识别

作者：周小静; 陈俊洪; 杨振国; 刘文印^*

来源：计算机工程与应用, 2021, 57(14): 169-175.

• 手势特征
• 操作动作
• 视频特征提取
• 动作识别

针对动态复杂场景下的操作动作识别,提出一种基于手势特征融合的动作识别框架,该框架主要包含RGB视频特征提取模块、手势特征提取模块与动作分类模块。其中RGB视频特征提取模块主要使用I3D网络提取RGB视频的时间和空间特征;手势特征提取模块利用Mask R-CNN网络提取操作者手势特征;动作分类模块融合上述特征,并输入到分类器中进行分类。在EPIC-Kitchens数据集上,提出的方法识别抓取手势的准确性高达89.63%,识别综合动作的准确度达到了74.67%。

• 单位
  广东工业大学