基于注意力增强的点阵Transformer的中文命名实体识别方法

作者：韩晓凯; 岳颀^*; 褚晶; 史伟亮; 韩展

来源：厦门大学学报(自然科学版), 2022, 61(06): 1062-1071.

• Transformer
• 点阵
• 稀疏注意力
• 注意力增强
• 中文命名实体识别

对于中文命名实体识别任务，一种非常有效的方法是创建能结合字与词语信息的点阵，利用词语语义信息的同时减少分词错误带来的影响.然而点阵在通过词典匹配句子中潜在词语的过程中，也会引入相关性低的信息以及噪声，导致基于注意力机制的Transformer出现注意力分散的情况，而且引入词语信息也会降低模型对句子语义的关注.为解决这些问题，提出了一种新的注意力增强模型，命名为注意力增强的点阵Transformer(attention-enhanced lattice Transformer, AELT).AELT对注意力进行了稀疏处理，使模型只关注相关性最高的内容，能够有效减少上下文中的噪声干扰，同时并行添加了专用于对语句进行语义分析的Transformer,使模型重点关注语句本身，并将词语信息作为辅助信息完成实体识别任务.实验结果表明：AELT在Weibo、Resume、Ontonotes和MSRA这些主流数据集上有着不错的性能表现.

• 单位
  自动化学院; 西安邮电大学