基于多窗口注意力机制的中文命名实体识别

作者：占文韬; 吴晓鸰; 凌捷

来源：小型微型计算机系统, 2023, 1-7.

• 命名实体识别
• 多窗口注意力机制
• 特征融合
• RoBERTa

近年来，由于Transformer模型中应用的多头注意力机制能够有效地捕获较长的上下文信息，基于Transformer的模型已经成为主流方法。尽管这些模型能够有效捕获全局上下文信息，它们在局部特征和位置信息提取方面仍然有限。因此，本文提出了一种基于多窗口注意力机制的中文命名实体识别模型。首先，通过基于Transformer的预训练语言模型RoBERTa把文本表征为字符级嵌入向量，捕捉深度上下文信息，得到全局上下文信息；其次，局部特征提取模块利用多窗口循环机制，在全局特征提取模块的引导下提取局部特征和位置信息；最后，所提出的多窗口注意力机制有效地融合全局特征和多个局部特征来预测实体标签。在CMeEE和MSRA数据集上进行了实验验证；结果表明，本文所提出的模型分别获得了64.31%和94.14%的F1值，性能优于其他同类模型，验证了其在中文命名实体识别的有效性。

• 单位
  广东工业大学