基于ALBERT-BGRU-CRF的中文命名实体识别方法

作者：李军怀; 陈苗苗; 王怀军; 崔颖安; 张爱华

来源：计算机工程, 2022, 48(06): 89-106.

DOI：10.19678/j.issn.1000-3428.0061630

• 命名实体识别
• 预训练语言模型
• 双向门控循环单元
• 条件随机场
• 词向量
• 深度学习

命名实体识别是知识图谱构建、搜索引擎、推荐系统等上层自然语言处理任务的重要基础，中文命名实体识别是对一段文本序列中的专有名词或特定命名实体进行标注分类。针对现有中文命名实体识别方法无法有效提取长距离语义信息及解决一词多义的问题，提出一种基于ALBERT-双向门控循环单元(BGRU)-条件随机场(CRF)模型的中文命名实体识别方法。使用ALBERT预训练语言模型对输入文本进行词嵌入获取动态词向量，有效解决了一词多义的问题。采用BGRU提取上下文语义特征进一步理解语义，获取长距离词之间的语义特征。将拼接后的向量输入至CRF层并利用维特比算法解码，降低错误标签输出概率。最终得到实体标注信息，实现中文命名实体识别。实验结果表明，ALBERT-BGRU-CRF模型在MSRA语料库上的中文命名实体识别准确率和召回率分别达到95.16%和94.58%，同时相比于片段神经网络模型和CNN-BiLSTM-CRF模型的F1值提升了4.43和3.78个百分点。

• 单位
  西安理工大学