融合动态掩码预训练与膨胀卷积的实体识别

作者：葛志辉^*; 洪龙翔; 李陶深; 叶进

来源：广西大学学报(自然科学版), 2022, 47(03): 692-703.

DOI：10.13624/j.cnki.issn.1001-7445.2022.0692

• 实体识别
• 深度学习
• 膨胀卷积神经网络
• 条件随机场

针对传统的BERT模型在使用中文语料进行预训练时无法获取词的信息问题，本文中在预训练阶段引入基于动态掩码的RoBERTa预训练模型；该预训练模型所生成的语义表示含有词的信息，能够表达句子丰富的句法和语法信息，并且能够对词的多义性建模，更适用于中文命名实体识别任务；同时通过字在上下文中能形成词的词向量对相应的字向量进行了增强；为了提高模型的效率，在序列建模层引入膨胀卷积神经网络。实验表明，该模型在多尺度上下文和结构化预测方面比传统CNN有更好的容量，在常用中文实体识别任务语料库上，验证了模型的有效性。