科研之友
微信
新浪微博
Facebook
分享链接
摘要
当前大多数机器翻译模型都属于自回归模型，不支持解码器并行生成翻译结果，且生成速率过低。针对当前自回归模型中存在的问题，基于Transformer和非自回归Transformer(non-autoregressive Transformer,NAT)的翻译模型进行实验，对蒙汉语料进行知识蒸馏和语跨语言词语嵌入的处理。实验结果表明，引入知识蒸馏的NAT模型在BLEU值方面有显著提升，同时也提高了模型生成速率。NAT模型进行知识蒸馏与跨语言词嵌入处理后能显著减少源语言和目标语言之间的依赖关系，提高蒙汉机器翻译的BLEU值，相比Transformer模型，BLEU值提高了2.8，时间消耗减少了19.34 h。
- 单位
