BERT模型结合实体向量的知识图谱实体抽取方法

作者：陈玮; 张锐; 尹钟

来源：小型微型计算机系统, 2022, 43(08): 1577-1582.

DOI：10.20009/j.cnki.21-1106/TP.2021-0073

• 知识图谱
• 实体抽取
• BERT
• 实体向量
• 注意力机制
• 条件随机场

实体抽取是构建知识图谱的重要环节，大多数深度学习模型没有注意到上下文的语义信息和忽略了对于知识实体的处理，因此，实体抽取的准确性有待进一步提高.本文提出了一种BERT模型结合实体向量的知识图谱实体抽取方法.该方法采用基于全词Mask的BERT模型生成句子向量和具有上下文语义的词向量，再将词向量取平均值得到实体向量，通过注意力机制将句子向量与实体向量结合，最后，将结合后的新向量放入条件随机场进行序列标注，找到最优的标签以达到实体抽取的目的.实验结果表明，该方法在人民日报语料库进行实体抽取时，其准确率、召回率和F1值分别为93.01%,90.32%和91.65%.同时，该模型在CoNLL-2003语料库中的实体抽取也具有很好的效果.

• 单位
  上海理工大学