基于浅三维稠密网的多模态手势识别算法

作者：邓智方; 袁家政; 刘宏哲; 原春锋; 张宏源

来源：计算机工程与应用, 2019, 55(19): 166-172.

• ST3D方法
• Inception结构
• 多模态
• 手势识别

手势识别旨在理解人体的动态手势,是人机交互领域极其重要的交互方式之一。该方法通过将二维稠密网扩展为三维稠密网,并加入Inception结构,提出了一种基于浅三维稠密网的多模态手势识别方法,将其命名为Spatial Temporal 3D(ST3D) dense network。所提出的方法在手势识别公开数据集大规模离散手势数据集(IsoGD)上进行了评估,并取得了目前最好效果。实验证明,所提方法能够有效地学习到视频样本中手势的短期、中期以及长期时空特征。

• 单位
  中国科学院自动化研究所; 北京开放大学; 北京联合大学