基于字词融合的低词汇信息损失中文命名实体识别方法

作者：郭志强; 关东海^*; 袁伟伟

来源：计算机科学, 2023, 1-14.

• 命名实体识别
• 自然语言处理
• 词汇信息损失
• 中间字符
• 编码策略

中文命名实体识别（CNER）任务是一种自然语言处理技术，旨在识别文本中具有特定类别的实体，如人名、地名、组织机构名等，它是问答系统、机器翻译、信息抽取等自然语言应用的基础底层任务。由于中文不具备类似英文这样的天然分词结构，基于词的NER模型在中文命名实体识别上的效果会因分词错误而显著降低，基于字符的NER模型又忽略了词汇信息的作用。因而，近年来许多研究开始尝试将词汇信息融入字符模型中。WC-LSTM通过在词汇的开始字符和结束字符中注入词汇信息，模型性能获得了显著的提升。然而，该模型依然没有充分利用词汇信息，因此在其基础上提出了基于字词融合的低词汇信息损失NER模型LLL-WCM，对词汇的所有中间字符融入词汇信息，避免了词汇信息损失。同时，引入了两种编码策略平均(avg)和自注意力机制(self-attention)以提取所有词汇信息。在四个中文数据集上进行实验，结果表明，与WC-LSTM相比，该方法F1值分别提升了1.89%、0.29%、1.10%和1.54%。

• 单位
  南京航空航天大学