基于小样本手部关键点的MLP网络提升3D光场交互准确度方法

作者：任尚恩; 邢树军; 陈硕; 于迅博; 颜玢玢; 王葵如; 桑新柱^*

来源：液晶与显示, 2023, 38(09): 1198-1204.

• 交互
• 手势分类识别
• 多层感知器
• 小样本数据集

针对当前3D光场手势交互存在识别率低、识别速度慢、深度学习网络需要较多数据样本的问题，本文提出了一种基于小样本手部关键点的多层感知器（Multi-Layer Perceptron,MLP）网络提升3D光场交互准确度方法，识别速度达到毫秒级。在手部关键点采集过程中，从不同位置采集得到的同一种手势关键点三维数据存在显著差异。为了消除差异，本文提出在同一右手笛卡尔坐标系下，通过位移和罗德里格旋转公式对简化后的手势模型进行位姿变换，将同一种手势归一化。一个MLP神经网络被用来从归一化后的手部关键点跳变关系中提取手部特征。实验结果表明，本文提出的方法对3D光场交互中的简单手势识别率为95%以上，对复杂手势的识别率为90%以上。与此同时，该方法在小样本数据集训练下表现出优秀的性能，能够满足精确和快速手势识别的要求。最后，本文展示了一种将所提出的方法成功应用于3D光场交互的场景。

• 单位
  电子工程学院; 北京邮电大学