基于联合注意力机制的篇章级机器翻译

作者：李京谕; 冯洋

来源：中文信息学报, 2019, 33(12): 45-53.

• 神经机器翻译
• 注意力机制
• 篇章级机器翻译

近年来,神经机器翻译(neural machine translation, NMT)表现出极大的优越性,然而如何在翻译一个文档时考虑篇章上下文信息仍然是一个值得探讨的问题。传统的注意力机制对源端的所有词语进行计算,而在翻译当前句子时篇章中大量的信息中只有小部分是与之相关的。在篇章级机器翻译中,采用传统的注意力机制建模篇章信息存在着信息冗余的问题。该文提出了一种联合注意力机制,结合"硬关注"和"软关注"的机制对篇章上下文的信息进行建模。关键思想是通过"硬关注"筛选出与翻译当前句子相关的源端历史词语,然后采用"软关注"的方法进一步抽取翻译中所需的上下文信息。实验表明,相比于基线系统,该方法能使翻译性能获得明显提升。

• 单位
  中国科学院大学; 中国科学院计算技术研究所