基于Bi-GRU和Self-Attention模型的企业关系抽取

作者：张豪杰; 毛建华

来源：工业控制计算机, 2020, 33(04): 108-113.

• 企业关系抽取
• 长程依赖
• Bi-GRU
• Self-Attention

从大量非结构化的企业文本中抽取出结构化的企业关系,是建立企业知识图谱的基础工作。循环神经网络(RNN)和卷积神经网络(CNN)是当前关系抽取的主要方法。但是由于企业文本语法特征复杂,长程依赖明显,所以采用RNN的变形网络Bi-GRU来进行初步提取。Bi-GRU虽然考虑了长距离词的相关性,但提取特征不够充分。所以在已有基础上引入Self-Attention,使模型能进一步计算每个词的长程依赖特征,提高模型的特征表达能力。最后通过各种模型的实验比较,该方法相较只含Bi-GRU或其他经典模型,在企业文本的关系抽取性能有进一步提高。

• 单位
  上海大学; 通信与信息工程学院