基于迁移学习的跨对象手语手势识别方法

作者：王天然; 王琦; 王青山

来源：计算机科学, 2023, 50(S1): 129-133.

DOI：10.11896/jsjkx.220300232

• 手语手势识别
• 特征融合
• 域对抗
• 迁移学习
• 特征迁移

手语是听障人士重要的交流工具，准确识别手语可以减少健全人和听障人士之间的交流障碍。一般深度学习识别模型的性能高度依赖于所采集的数据，这导致模型跨对象泛化能力较差。因此，通过迁移学习的方法设计一种具有跨对象泛化能力的手语手势识别模型。首先，使用特征提取器融合表面肌电流(Surface Electromyography, sEMG)信号和惯性传感器(Inertial Measurement Unit, IMU)信号。然后，提出一种域对抗训练方法，其可以仅依靠源域数据完成特征提取器和域分类器的对抗训练，实现特征提取从源域到目标域的迁移。最后，在手势分类器中利用域不变特征实现手语手势跨对象识别，提高了模型的泛化能力。实验表明，在包含200种手语手势共60 000条手语样本数据集上，所提模型可将手语跨对象识别准确率提高到85.1%。

• 单位
  数学学院; 合肥工业大学