融合音字特征转换的非自回归Transformer中文语音识别

作者：滕思航; 王烈^*; 李雅

来源：计算机科学, 2023, 50(08): 111-117.

• 语音识别
• Transformer
• 非自回归
• 自注意力机制
• 特征转换

基于自注意力机制的Transformer模型在语音识别任务中展现出了强大的模型性能，其中非自回归Transformer自动语音识别模型与自回归模型相比解码速度更快，然而语音识别速度的提升却造成了准确度的大幅降低。为提升非自回归Transformer语音识别模型的识别准确度，首先引入基于连续时间分类(Connectionist Temporal Classification, CTC)的帧信息合并，在帧宽范围内对语音高维表示向量进行融合，改善非自回归Transformer decoder输入序列的特征信息不完整问题；其次对模型输出进行音字特征转换，在decoder的输出读音特征中融合上下文信息，然后转换为包含更多字符特征的输出，从而改善模型同音不同字的识别错误问题。在中文语音数据集AISHELL-1上的实验结果显示，所提模型实现了实时性因子(Real Time Factor, RTF)0.002 8的识别速度与字符错误率(Character Error Rate, CER)8.3%的识别精度，在众多主流中文语音识别算法中展现出较强的竞争力。