融合字词语义信息的猕猴桃种植领域命名实体识别研究

作者：李书琴; 张明美; 刘斌

来源：农业机械学报, 2022, 53(12): 323-331.

• 猕猴桃种植
• 命名实体识别
• 字词融合
• 语义增强
• 自注意力机制
• 预训练语言模型

针对猕猴桃种植领域命名实体识别任务中实体词复杂度较高，识别精确率较低的问题，提出一种融合字词语义信息的猕猴桃种植实体识别方法。以BiGRU-CRF为基本模型，融合词级别和字符级别的信息。在词级别上，通过引入词集信息，并使用多头自注意力(Multiple self-attention mechanisms, MHA)调整词集中不同词的权重；同时使用注意力机制忽略不可靠的词集，将注意力集中在重要的词集上，从而提高实体识别效果；在字符级别上，引入无监督的基于转换器的双向编码表征(Bidirectional encoder representations form transformers, BERT)预训练模型增强字的语义表示。在包含12 477条标注样本和7个类别实体的猕猴桃种植领域自制语料上进行了实验，结果表明，本文模型与SoftLexicon模型相比，F1值提高1.58个百分点。此外，本文模型在公开数据集ResumeNER上与Lattice-LSTM、WC-LSTM等模型进行实验对比取得了最佳效果，F1值达到96.17%,表明本文模型具有一定的泛化能力。

• 单位
  西北农林科技大学