一种基于彩色信息和深度信息融合的手势识别方法

作者:吴浩; 李公法; 李蔚; 谌东海; 蒋国璋; 陶波
来源:2019-07-11, 中国, CN201910624625.8.

摘要

本发明公开了一种基于彩色信息和深度信息融合的手势识别方法,通过Kinect采集手势的彩色图和深度图,并进行对齐;将对齐后彩色图和深度图通过迁移学习分别训练手势的CNN模型,分别得到基于彩色图的手势识别模型和基于深度图的手势识别模型;然后将两种模型进行输出层的融合,得到基于彩色信息和深度信息融合的手势识别模型,通过实时的kinect采集的图像,输入到模型中,得到实时的手势识别标签和置信度分数。本发明提出的基于彩色信息和深度信息的手势识别方法,充分考虑到物体的彩色信息和深度信息,可以在复杂环境下,读取手势信息,通过识别手势与显示器进行交互。