基于改进MobileNet网络的AR辅助手语字母识别方法

作者：刘春宏; 王松; 王赋攀; 唐文生; 裴云强; 田东生; 吴亚东

来源：系统仿真学报, 2022, 1-14.

DOI：10.16182/j.issn1004731x.joss.22-0216

• 手语字母识别
• MobileNet
• 多尺度卷积
• Web-AR
• 协同交互

针对手语手势姿态待规范、识别率低的问题，提出一种AR辅助手语字母识别算法MS-MobileNet。该算法设计多尺度卷积模块提取底层特征，增强网络的特征提取能力，利用ELU激活函数来保留更全面的负值特征信息，结合适用于web的轻量级MobileNet模型，提高面向移动AR应用的手语字母识别准确率和实时性。实验结果表明，MS-MobileNet在数据集ASL-M、NUS-II和Creative Senz3D上识别准确率较原模型分别提高了2.58%、5.32%和3.04%。基于MS-MobileNet网络设计一套WebAR辅助的手语字母协同交互系统，经评估测试，用户平均参与度达到8.2分，单次识别耗时低于0.115s， 能较好地满足用户沉浸式的实时手语字母交互需求。

• 单位
  西南科技大学; 四川轻化工大学