融合自注意力的ALBERT中文命名实体识别方法

作者：游乐圻; 裴忠民^*; 罗章凯

来源：计算机工程与设计, 2023, 44(02): 605-611.

DOI：10.16208/j.issn1000-7024.2023.02.039

• 预训练模型
• 自注意力
• 命名实体识别
• 长短记忆网络
• 条件随机场
• 自然语言处理
• 深度学习

针对现阶段中文命名实体识别(NER)方法存在训练时间过长、性能有待提高的不足，提出一种融合“自注意力”机制的ALBERT中文NER方法。选择ALBERT作为嵌入层，通过BiLSTM获取字符位置信息，经过自注意力层进一步寻找序列内部联系，CRF解码获得最优序列。在《人民日报》和MRSA数据集上的实验F1值分别达到了93.97%、97.35%。进一步从2个方面验证模型的有效性，实验结果表明，该方法比BERT BiLSTM-CRF训练时间减少约13.8%,P、R、F1均提升0.8%左右。

• 单位
  中国人民解放军装备学院