基于CNN-Head Transformer编码器的中文命名实体识别

作者：史占堂; 马玉鹏; 赵凡; 马博

来源：计算机工程, 2022, 48(10): 73-80.

DOI：10.19678/j.issn.1000-3428.0062525

• 命名实体识别
• 自注意力机制
• Transformer编码器
• 卷积神经网络
• 残差连接

基于多头自注意力机制的Transformer作为主流特征提取器在多种自然语言处理任务中取得了优异表现，但应用于命名实体识别任务时存在一字多词、增加额外存储与词典匹配时间等问题。提出一种CNN-Head Transformer编码器(CHTE)模型，在未使用外部词典和分词工具的基础上，通过自注意力机制捕获全局语义信息，利用不同窗口大小的CNN获取Transformer中6个注意力头的Value向量，使CHTE模型在保留全局语义信息的同时增强局部特征和潜在词信息表示，并且应用自适应的门控残差连接融合当前层和子层特征，提升了Transformer在命名实体识别领域的性能表现。在Weibo和Resume数据集上的实验结果表明，CHTE模型的F1值相比于融合词典信息的Lattice LSTM和FLAT模型分别提升了3.77、2.24和1.30、0.31个百分点，具有更高的中文命名实体识别准确性。

• 单位
  中国科学院新疆理化技术研究所; 中国科学院大学