编码器中自注意力机制的替代方案

作者：周祥生; 林震亚; 郭斌

来源：现代信息科技, 2019, 3(19): 64-68.

DOI：10.19850/j.cnki.2096-4706.2019.19.020

• 自注意力机制
• CNN
• RNN
• 动态路由
• 编码器

本文针对Transformer中编码器进行改进,尝试了包括RNN(recurrentneuralnetwork)、CNN(convolutionalneuralnetwork)、动态路由等多种结构,对比其特征提取能力及对解码器的影响。实验表明,在编码器中引入RNN、IndRNN结构可以在一定程度上增加编码器对源语言的特征提取能力,而采用CNN替代编码器中的自注意力机制(self-attention)可以在不明显影响结果的情况下显著降低参数量,提升模型性能。由于考虑参数量和执行时间,动态路由在该任务下效果不好,这也说明了动态路由结构虽然是很强的特征提取器,但并不适合进行堆叠。

• 单位
  南京中兴新软件有限责任公司