基于注意力机制特征融合的中文命名实体识别

作者：廖列法; 谢树松

来源：计算机工程, 2023, 49(04): 256-262.

DOI：10.19678/j.issn.1000-3428.0064432

• 注意力机制
• Transformer编码器
• 特征融合
• 中文命名实体识别
• 预训练模型

命名实体识别是自然语言处理领域中信息抽取、信息检索、知识图谱等任务的基础。在命名实体识别任务中，Transformer编码器更加关注全局语义，对位置和方向信息不敏感，而双向长短期记忆（BiLSTM）网络可以提取文本中的方向信息，但缺少全局语义信息。为同时获得全局语义信息和方向信息，提出使用注意力机制动态融合Transformer编码器和BiLSTM的模型。使用相对位置编码和修改注意力计算公式对Transformer编码器进行改进，利用改进的Transformer编码器提取全局语义信息，并采用BiLSTM捕获方向信息。结合注意力机制动态调整权重，深度融合全局语义信息和方向信息以获得更丰富的上下文特征。使用条件随机场进行解码，实现实体标注序列预测。此外，针对Word2Vec等传统词向量方法无法表示词的多义性问题，使用RoBERTa-wwm预训练模型作为模型的嵌入层提供字符级嵌入，获得更多的上下文语义信息和词汇信息，增强实体识别效果。实验结果表明，该方法在中文命名实体识别数据集Resume和Weibo上F1值分别达到96.68%和71.29%，相比ID-CNN、BiLSTM、CAN-NER等方法，具有较优的识别效果。

• 单位
  江西理工大学