基于音系学模型的手语理解

作者:姚登峰; 江铭虎; 阿布都克力木·阿布力孜; 李晗静; 哈里旦木·阿布都克里木
来源:中文信息学报, 2018, 32(01): 59-67.

摘要

该文试图模拟人脑处理手势信号的过程,设计了一个混合的深层神经网络模型来解决基于音系学模型的手语理解问题,即手语音韵信息到文本转换的问题。为此该文首先综合了手语语言学里同时性和序列性这两个观点的长处,提出了一个手语音系学的改进模型,并针对难点设计了基于音系学模型的手语理解算法。直接从语言学的音韵特征推断手语文本,相比从视觉特征推断出手语文本是一个很大的飞跃。实验验证了该认知计算技术的有效性,为实现类人智能奠定了技术基础。