结合BERT与BiGRU-Attention-CRF模型的地质命名实体识别

作者：谢雪景; 谢忠; 马凯; ***; 邱芹军; 李虎; 潘声勇; 陶留锋

来源：地质通报, 2023, 42(05): 846-855.

DOI：10.12097/j.issn.1671-2552.2023.05.014

• 命名实体识别
• 地质命名实体
• BERT
• 注意力机制
• BiGRU

从地质文本中提取地质命名实体，对地质大数据的深度挖掘与应用具有重要意义。定义了地质命名实体的概念并制订了标注规范，设计了地质实体对象化表达模型。地质文本存在大量长实体、复杂嵌套实体，增加了地质命名实体识别的挑战性。针对上述问题，(1)引入BERT模型生成顾及上下文信息的高质量词向量表征；(2)采用双向门控循环单元-注意力机制-条件随机场(BiGRU-Attention-CRF)对前一层输出的语义编码进行序列标注与解码。通过与主流深度学习模型进行对比，该模型的F1值为84.02%,均比其他模型表现出更优异的性能，能在小规模地质语料库上有较好的识别效果。

• 单位
  济南轨道交通集团有限公司; 中地数码科技有限公司; 中国地质大学（武汉）