科研之友
微信
新浪微博
Facebook
分享链接
摘要
中文文本自动校对技术是自然语言处理领域中的主要任务之一.针对中文文本中字粒度级别的错误(音似、形似和义似替换错误),提出一种基于RoBERTa-wwm-ext与混淆集的中文文本校对模型.该模型在RoBERTa-wwm-ext结构的基础上，利用transformer结构中的encoder机制读取整段中文文本序列，然后通过softmax函数计算当前字符权重分布来判断该字符是否错误，并在纠错任务中引入混淆集，使用混淆集找到该错字对应的候选字符，最后结合掩码语言模型给出的修改建议，完成文本校对.在SIGHAN2014与SIGHAN2015中文拼写检查数据集上，设计字粒度级别的中文文本校对实验，对比模型性能.实验结果表明，与当前主流的中文文本校对模型相比，该模型的中文文本校对效果表现更佳，文本校对的准确率、召回率、F1值均有所提升.
