基于长短时记忆网络的多媒体教学手势识别研究

作者：秦敏莹; 肖秦琨

来源：国外电子测量技术, 2019, 38(06): 80-85.

DOI：10.19652/j.cnki.femt.1801377

• 手势识别
• 循环神经网络
• 长短时记忆网络
• 轨迹特征

手势识别研究旨在探索更加和谐自然的人机交互方式,促进人工智能技术的发展应用,具有重要的研究价值和广泛的社会影响。针对现有的手势识别算法鲁棒性弱、实时性差和识别率低的问题以及传统手势识别当中人工设计的手型特征单一,时序建模过程繁琐的问题,以大多数手势词汇使用运动轨迹进行表述为基础,将运动轨迹的骨架节点流坐标作为训练集和测试集特征,提出基于循环神经网络(RNN)的变体结构长短时记忆网络(LSTM)序列到序列的多媒体教学手势识别算法。采用Kinect 2.0采集了6种常见的多媒体教学手势的骨架流坐标数据建立小型数据集,以上述算法为基础进行实验。实验证明,该方法对6种多媒体教学手势的平均识别率相比传统动态时间规整算法(DTW)的有效性,可应用于多媒体教学等领域。

• 单位
  西安工业大学