基于时空注意力网络的中国手语识别

作者：罗元; 李丹; 张毅

来源：半导体光电, 2020, 41(03): 414-419.

DOI：10.16818/j.issn1001-5868.2020.03.021

• 手语识别
• 时空注意力
• 残差3D网络
• 卷积LSTM网络

手语识别广泛应用于聋哑人与正常人之间的交流中。针对手语识别任务中时空特征提取不充分而导致识别率低的问题,提出了一种新颖的基于时空注意力的手语识别模型。首先提出了基于残差3D卷积网络(Residual 3DConvolutional Neural Network,Res3DCNN)的空间注意力模块,用来自动关注空间中的显著区域;随后提出了基于卷积长短时记忆网络(Convolutional Long Short-Term Memory,ConvLSTM)的时间注意力模块,用来衡量视频帧的重要性。所提算法的关键在于在空间中关注显著区域,并且在时间上自动选择关键帧。最后,在CSL手语数据集上验证了算法的有效性。

• 单位
  重庆邮电大学