基于BERT模型实现概念定义句自动识别

作者：李雪思; 张智雄; 刘欢

来源：情报科学, 2022, 40(08): 160-166+192.

DOI：10.13833/j.issn.1007-7634.2022.08.022

• 定义句识别
• BERT
• 深度学习
• 预训练模型
• 自动识别

【目的/意义】概念作为科学知识的表达，在科研中起着重要的作用。概念定义句的识别是科技文献挖掘分析的一个重要课题。【方法/过程】针对已有概念定义句识别研究中存在大量特征工程的问题，本文尝试在概念定义句识别研究中引入BERT模型，并通过与以往研究的对比验证了BERT的有效性。随后利用科技文献全文数据，基于BERT模型采用多阶段微调的方式构建了面向实际应用的概念定义句自动识别模型。【结果/结论】BERT的注意力机制能捕获到概念定义句各个组成项之间的长距离和短距离依赖，从而更加有效地识别概念定义句。此外，通过多阶段微调的方式能够提升模型在实际应用中的效果。【创新/局限】提出基于BERT模型的概念定义句识别方法并验证其有效性，并进一步构建了具有实用化水平的概念定义句自动识别模型。

• 单位
  中国科学院大学; 中国科学院文献情报中心