融合MacBERT和Talking-Heads Attention实体关系联合抽取模型

作者：王春亮; 姚洁仪; 李昭

来源：现代电子技术, 2024, 47(05): 127-131.

DOI：10.16652/j.issn.1004-373x.2024.05.022

• MacBERT
• BiGRU
• 关系抽取
• 医学文本
• Talking-Heads Attention
• 深度学习
• 全局特征
• 神经网络

针对现有的医学文本关系抽取任务模型在训练过程中存在语义理解能力不足，可能导致关系抽取的效果不尽人意的问题，文中提出一种融合MacBERT和Talking-Heads Attention的实体关系联合抽取模型。该模型首先利用MacBERT语言模型来获取动态字向量表达，MacBERT作为改进的BERT模型，能够减少预训练和微调阶段之间的差异，从而提高模型的泛化能力；然后，将这些动态字向量表达输入到双向门控循环单元（BiGRU）中，以便提取文本的上下文特征。BiGRU是一种改进的循环神经网络（RNN），具有更好的长期依赖捕获能力。在获取文本上下文特征之后，使用Talking-Heads Attention来获取全局特征。Talking-Heads Attention是一种自注意力机制，可以捕获文本中不同位置之间的关系，从而提高关系抽取的准确性。实验结果表明，与实体关系联合抽取模型GRTE相比，该模型F1值提升1%,precision值提升0.4%,recall值提升1.5%。