基于注意力机制的领域事件联合抽取识别方法

作者：马骏; 黄颖; 刘卫平

来源：指挥信息系统与技术, 2022, 13(01): 90-98.

DOI：10.15908/j.cnki.cist.2022.01.016

• 事件元素抽取
• 迁移学习
• Transformer
• 双向门控循环单元神经网络
• 条件随机场

针对特定领域事件抽取时标注文本不足问题，结合最新的自然语言处理技术，提出了基于Transformer、双向门控循环单元（Bi-GRU）神经网络和条件随机场（CRF）的领域事件联合抽取识别框架Transformer-Bi-GRU-CRF-Union。首先，该框架以字、字的位置、语义块和词性（POS）作为模型输入特征，通过Transformer网络迁移学习获得通用领域语义编码特征；然后，通过Bi-GRU解码特定领域语义特征；最后，使用CRF算法实现序列预测。试验结果表明，该事件抽取框架相对于当前基准方法在准确率、召回率和F1值上表现更优。

• 单位
  中国电子科技集团公司第二十八研究所