基于多层注意力机制的回指消解算法

作者：刘雨江; 付立军; 刘俊明; 吕鹏飞

来源：计算机工程, 2020, 46(02): 59-71.

DOI：10.19678/j.issn.1000-3428.0053545

• 指代关系
• 注意力机制
• 显性指代
• 零指代
• 多层注意力机制模型

在信息抽取过程中,无法被判别的回指易造成信息抽取不完整的情况,这种指代关系可通过分析当前语境下的指代部分、被指代部分、周围的信息及原文内容生成的唯一判别信息进行判断。为此,构建一个多层注意力机制模型,在不同层次上对上述信息进行基于注意力机制的概率计算,利用最终结果判别回指关系是否成立。在指代部分与被指代部分向量化后,通过2个注意力层上的4次概率计算,使每一个训练结果在判别之前都具有唯一性。在OntoNotes 5.0数据集上的实验结果表明,该模型F值在显性指代和零指代均存在的条件下为70.1%,在存在零指代的条件下为60.7%,高于尹庆宇等人提出的模型。

• 单位
  中国科学院沈阳计算技术研究所; 中国科学院大学