基于深度学习的中文命名实体识别研究

作者：王雪梅; 陶宏才

来源：成都信息工程大学学报, 2020, 35(03): 264-270.

DOI：10.16836/j.cnki.jcuit.2020.03.003

• 中文命名实体识别
• BERT
• BiGRU
• Attention
• CRF

针对经典BiLSTM-CRF命名实体识别模型训练时间长、无法解决一词多义及不能充分学习文本上下文语义信息的问题,提出一种基于BERT-BiGRU-Attention-CRF的中文命名实体识别模型。首先利用BERT语言模型预训练词向量,以弥补传统词向量模型无法解决一词多义的问题;其次,利用双向门控循环单元(BiGRU)神经网络层对文本深层次的信息进行特征提取,计算每个标签的预测分值,得到句子的隐藏状态序列;然后利用注意力机制(Attention)层对词加权表征,挖掘词间的关联关系,得到新预测分值,新状态序列;最后通过条件随机场(CRF)对新预测分值计算全局最优解,从而获得模型对实体标签的最终预测结果。通过在MSRA语料上的实验,结果表明文中模型的有效性。

• 单位
  西南交通大学