科研之友
微信
新浪微博
Facebook
分享链接
摘要
预训练语言模型BERT/RoBERTa/MacBERT等虽然能够通过预训练任务中的掩码语言模型（MLM）很好地学习字和词的语法、语义及上下文特征，但其缺乏拼写错误识别及纠正能力，且在中文拼写纠错（CSC）任务中面临预训练与下游任务微调目标不一致的问题。为了进一步提升BERT/RoBERTa/MacBERT等模型的拼写错误识别及纠正能力，提出一种面向中文拼写纠错的自监督预训练方法MASC。MASC在MLM的基础上将对被掩码字的正确值预测转换成对拼写错误字的识别和纠正。首先，MASC将MLM对字的掩码扩展为相应的全词掩码，目的是提升BERT对单词级别的语义表征学习能力；接着，利用混淆集从音调相同、音调相近和字形相近等方面对MLM中的被掩码字进行替换，并将MLM的训练目标更改为识别正确的字，从而增强了BERT的拼写错误识别及纠正能力；最后，在3个公开的CSC语料集sighan13、sighan14和sighan15上的实验结果表明，MASC可在不改变BERT/RoBERTa/MacBERT等模型结构的前提下进一步提升它们在下游CSC任务中的效果，并且消融实验也证明了全词掩码、音调和字形等信息的重要性。
- 单位
