科研之友
微信
新浪微博
Facebook
分享链接
摘要
针对现有基于Seq2Seq框架的语法纠错模型对句子语义信息利用不充分的问题，提出一种基于预训练语言模型与自注意力机制的英语语法纠错模型。通过预训练语言模型与卷积神经网络结构进行编码，获取句子的局部语义信息；通过自注意力机制来提升单词语义信息表征的准确性；采用SRU网络将预测单词分布与注意力得分分布进行融合，并结合束搜索策略生成最终结果；运用集成学习进一步提升语法纠错模型性能。在CoNLL-2014和JFLEG数据集上的实验结果表明，相较于其他基线语法纠错方法，文中提出的方法能够取得更好的纠错效果。
-
单位温州商学院
