摘要
本发明公开了一种基于彩色信息和深度信息融合的手势识别方法,通过Kinect采集手势的彩色图和深度图,并进行对齐;将对齐后彩色图和深度图通过迁移学习分别训练手势的CNN模型,分别得到基于彩色图的手势识别模型和基于深度图的手势识别模型;然后将两种模型进行输出层的融合,得到基于彩色信息和深度信息融合的手势识别模型,通过实时的kinect采集的图像,输入到模型中,得到实时的手势识别标签和置信度分数。本发明提出的基于彩色信息和深度信息的手势识别方法,充分考虑到物体的彩色信息和深度信息,可以在复杂环境下,读取手势信息,通过识别手势与显示器进行交互。
- 单位