一种基于图卷积的多模态融合手语识别系统及方法

作者：郭丹; 唐申庚; 刘祥龙; 洪日昌; 汪萌

来源：2020-01-16, 中国, ZL202010049714.7.

本发明公开了一种基于图卷积的多模态融合手语识别系统及方法,该系统包括：特征提取模块,特征融合模块,序列学习模块和对齐翻译模块；该方法包括：1使用卷积神经网络和图神经网络分别对手语视频数据库提取视频帧的颜色、深度和骨架特征；2组合多模态特征,并通过多模态序列融合网络融合特征；3构建双向循环神经网络对融合后的一连串片段级别特征进行序列学习；4、过联结主义时序分类模型对齐特征序列,并翻译出完整的手语句子。本发明能实现对连续手语句子的翻译,并提高连续手语翻译的准确性。

• 单位
  合肥工业大学