摘要
针对传统语法错误纠正系统存在并行化程度低的问题,提出以神经语法错误纠正基线模型为基础模型,在基于循环神经网络编码器-解码器基础上对其进行改进,并构建一个基于自注意力机制的语法错误纠正模型—Transformer,通过此模型提升语法纠正效果。实验结果表明,Transformer模型在对冠词、名词、介词、形容词等语法错误进行纠错时,其纠错召回率明显高于传统的MLConv模型,且本模型的计算并行化程度更高。由此说明,基于自注意力机制的语法错误纠正模型性能更为优越,构建的Transformer系统在语法错误纠正中具有可行性。
- 单位