科研之友
微信
新浪微博
Facebook
分享链接
摘要
随着深度学习的发展，唇语识别技术在英文方面取得了长足的进步，但中文无论是在数据集丰富性还是识别准确率上均存在一定的落差。通过分析中文发音的视觉特点，提出“视觉拼音”，意图规避中文在视觉表达上的歧义性；为了验证视觉拼音的有效性，建立了中文句子级唇语识别模型CHSLR-VP，该模型是一个端到端结构，其中以视觉拼音为媒介，将视频帧序列转换成最终的汉字语句。通过实验得出，相比于其他唇语识别方法，基于视觉拼音建立的CHSLR-VP模型性能更优，证明了视觉拼音的参与可明显提高中文唇语识别的准确率，为将来的相关工作提供了基准。
- 单位
