多模态数据融合的加工作业动态手势识别方法

作者：张富强; 曾夏; 白筠妍; 丁凯

来源：郑州大学学报(工学版), 2023, 1-7.

DOI：10.13705/j.issn.1671-6833.2024.02.007

• 多模态数据融合
• 加工作业
• 动态手势识别
• C3D
• Mish激活函数
• 人机交互

为了解决单模态数据所提供的特征信息缺乏而导致的识别准确率难以提高、模型鲁棒性较低等问题,提出了面向人机交互的加工作业多模态数据融合动态手势识别策略。首先,采用C3D网络模型基于视频的空间维度和时间维度对深度图像和彩色图像2种模态数据进行特征提取;其次,将2种模态数据识别结果在决策层按最大值规则进行融合,同时,将原模型使用的Relu激活函数替换为Mish激活函数优化梯度特性;最后,通过3组对比实验得到6种动态手势的平均识别准确率达到96.8%,相比彩色和深度单模态数据,分别提升了2.98%和2.76%。结果表明:所提方法实现了加工作业中动态手势识别的高准确率和高鲁棒性的目标,对人机交互技术在实际生产场景中的应用起到推动作用。

• 单位
  长安大学