一种基于多层次语义解析的手语翻译系统及方法

作者：郭丹; 唐申庚; 刘祥龙; 汪萌

来源：2020-02-20, 中国, ZL202010103960.6.

本发明公开了一种基于多层次语义解析的手语翻译系统及方法,该方法包括：1、使用卷积神经网络提取手语视频数据的视频帧特征；2、串联相邻的视频帧特征,并构建全连接网络学习串联后的视频帧特征,得到连续的视素单元；3、串联相邻的视素单元,并使用池化方法对串联后的视素单元进行降维压缩,得到视觉子动作特征；4、将视觉子动作特征聚类成多个动作块,并分别对每个动作块进行采样,输出一连串的动作块特征；5、构建循环神经网络,将连续的动作块特征转换成单词序列；6、使用联结主义时序分类模型将单词序列翻译成手语句子。本发明能从长时手语视频中翻译出自然语句,并提高连续手语翻译的准确性和连贯性。

• 单位
  合肥工业大学