基于BERT的因果关系抽取

作者：姜博; 左万利^*; 王英

来源：吉林大学学报(理学版), 2021, 59(06): 1439-1444.

DOI：10.13413/j.cnki.jdxblxb.2020352

• 因果关系抽取
• 序列标注
• 双向长短期记忆网络(BiLSTM)
• BERT模型

针对传统关系抽取模型依赖特征工程等机器学习方法,存在准确率较低且规则较繁琐等问题,提出一种BERT+BiLSTM+CRF方法.首先使用BERT(bidirectional encoder representations from transformers)对语料进行预训练;然后利用BERT根据上下文特征动态生成词向量的特点,将生成的词向量通过双向长短期记忆网络(BiLSTM)编码;最后输入到条件随机场(CRF)层完成对因果关系的抽取.实验结果表明,该模型在SemEval-CE数据集上准确率比BiLSTM+CRF+self-ATT模型提高了0.054 1,从而提高了深度学习方法在因果关系抽取任务中的性能.

• 单位
  吉林大学