基于通道注意力与时间卷积网络的句子级唇语识别方法

作者：薛峰; 郭昊; 李宏博; 储德军; 谢胤岑

来源：2022-04-01, 中国, ZL202210348821.9.

本发明公开了一种基于通道注意力与时间卷积网络的句子级唇语识别方法,包括：1、下载用于训练模型的数据集GRID和更具挑战性的CMLR,并对数据集进行预处理；2、搭建本发明公开的唇语识别网络,将经预处理的数据集送入到网络中进行训练,调整网络参数,得到最优的唇语识别网络模型；4、用训练好的模型对视频进行唇语识别。本发明通过对唇语视频在时域、空域的多尺度特征提取,结合注意力机制获得了高质量的唇语识别特征图,从而能提高唇语识别精准度,且其在更具挑战性的CMLR数据集上的对应评价指标优异。

• 单位
  合肥工业大学