基于Bi-LSTM和注意力机制的命名实体识别

作者：刘晓俊; 辜丽川; 史先章

来源：洛阳理工学院学报(自然科学版), 2019, 29(01): 65-77.

• 命名实体识别
• DC-BiLSTM
• 注意力机制
• 条件随机场

命名实体识别是自然语言处理中一项重要的基础任务,本文提出一种简单、新颖的深层循环神经网络的命名实体识别(Named Entity Recognition,NER)方法。使用一种稠密连接的方式(Dense connection,DC)在多层的双向长短期记忆神经网络(bi-directional long short-term memory, Bi-LSTM)之间传递信息,称这种网络结构为DC-BiLSTM。利用DC-BiLSTM来学习句子特征,并采用自注意力机制(self-attention)来捕捉任意两个标记之间的关系,最后使用条件随机场(CRF)对整个句子进行解码预测。实验表明结果,该方法在MSRA语料上平均F1值能达到91.81%,最高F1值能达到92.05%。

• 单位
  安徽农业大学