融合依存句法和LSTM的神经机器翻译模型

作者：郑鑫; 陈海龙^*; 马玉群; 王青

来源：哈尔滨理工大学学报, 2023, 28(03): 20-27.

DOI：10.15938/j.jhust.2023.03.003

• 神经机器翻译
• transformer
• 长短时记忆网络
• 依存句法

针对神经机器翻译模型Transformer缺少语言学知识，以及位置信息编码方式不够灵活等问题，引入依存句法分析和长短时记忆网络LSTM(long short-term memory, LSTM),在神经机器翻译系统中构建源语言句法结构信息，并且利用LSTM的记忆特性获取更加准确的位置信息。给出一个源语言序列，采用依存句法树来将其转化为相应的依存关系矩阵，最后采用CBOW(continuous bag-of-words model, CBOW)模型根据依存关系词和上下文词预测目标词获取词向量。输出的词向量使用LSTM模型训练，将每一个时间步的输出与原序列拼接作为输入序列。实验结果表明：在WMT17汉语-英语语言对的翻译任务中，使用改进后的模型提升了0.93个BLEU点。

• 单位
  哈尔滨理工大学