面向低资源命名实体识别的BiLSTM-Att-BCRF模型

作者：钟茂生; 吴佳华; 罗玮; 吴水秀

来源：江西师范大学学报(自然科学版), 2022, 46(05): 460-467.

DOI：10.16357/j.cnki.issn1000-5862.2022.05.04

• 低资源命名实体识别
• 神经网络
• 伯努利分布
• 自注意力机制

在低资源场景下，由于受训练数据量少的限制，现有模型的参数不能拟合到预期效果，所以导致模型识别实体的性能不佳.该文提出一种融入伯努利分布(Bernoulli distribution)的新型损失函数，使模型能较好拟合数据.此外，该文在BiLSTM-CRF模型基础上融合多层字符特征信息和自注意力机制，并结合基于伯努利分布的新型损失函数，构建了BiLSTM-Att-BCRF模型.BiLSTM-Att-BCRF模型在20%的CONLL2003和20%的BC5CDR的数据集上，F1值在BiLSTM-CRF模型基础上分别提升了7.00%和4.08%,能较好地适应低资源命名实体识别任务.

• 单位
  江西师范大学