融合通道注意力和选择性特征融合机制的唇语识别方法

作者：薛峰; 杨添; 王文博; 洪自坤

来源：2021-04-06, 中国, ZL202110366767.6.

本发明公开了一种融合通道注意力和选择性特征融合机制的唇语识别方法,包括：1、下载用于训练模型的数据集GRID,并对数据集进行预处理；2、搭建唇语识别网络,并选择合适的目标函数来优化模型参数；3、采用相应的评估指标来评价模型的效果；4、用训练好的模型对视频进行唇语识别。本发明使用堆叠的3D卷积神经网络、选择性特征融合网络、双向GRU网络对输入视频帧进行编码,其中每层3D卷积层之间加入通道注意力机制,最后采用CTC解码器来生成输出文本,可以更好的学习说话者嘴唇区域特征,从而实现更准确的唇读效果。

• 单位
  合肥工业大学