加入自注意力机制的BERT命名实体识别模型

作者：毛明毅^*; 吴晨; 钟义信; 陈志成

来源：智能系统学报, 2020, 15(04): 772-779.

• 命名实体识别
• BERT
• 自注意力机制
• 深度学习
• 条件随机场
• 自然语言处理
• 双向长短期记忆网络
• 序列标注

命名实体识别属于自然语言处理领域词法分析中的一部分,是计算机正确理解自然语言的基础。为了加强模型对命名实体的识别效果,本文使用预训练模型BERT(bidirectional encoder representation from transformers)作为模型的嵌入层,并针对BERT微调训练对计算机性能要求较高的问题,采用了固定参数嵌入的方式对BERT进行应用,搭建了BERT-BiLSTM-CRF模型。并在该模型的基础上进行了两种改进实验。方法一,继续增加自注意力(self-attention)层,实验结果显示,自注意力层的加入对模型的识别效果提升不明显。方法二,减小BERT模型嵌入层数。实验结果显示,适度减少BERT嵌入层数能够提升模型的命名实体识别准确性,同时又节约了模型的整体训练时间。采用9层嵌入时,在MSRA中文数据集上F1值提升至94.79%,在Weibo中文数据集上F1值达到了68.82%。

• 单位
  北京邮电大学; 北京工商大学