基于注意力掩码语言模型的隐式篇章关系识别

作者：窦祖俊; 洪宇^*; 李晓; 周国栋

来源：中文信息学报, 2022, 36(10): 17-26.

• 隐式篇章关系
• 交互式注意力
• 掩码语言模型

隐式篇章关系识别是在缺少显式连接词的条件下，自动判定论元之间的语义关系。其挑战性在于现有训练数据的规模较小，其蕴含的语义多样性也相对有限。针对上述问题，该文利用掩码语言模型架构建立篇章关系分类模型。其动因包括：(1)掩码语言模型在自监督学习过程中具备局部的语言生成能力，即在理解上下文语义的基础上“重构掩码区域语义表示”的能力；(2)掩码重构形成了数据增强(潜在的自动数据扩展)的效果，有助于提高篇章关系分类模型的鲁棒性。特别地，该文提出一种基于交互注意力的掩码语言模型，该方法计算论元之间的交互注意力矩阵，并依赖交互注意力动态选择论元之间高关联性的关键词项进行遮蔽、掩码重构，从而形成更有针对性的数据增强(非关键信息的数据增强对关系分类影响不大)。该文利用宾州篇章树库语料进行实验。实验结果表明，相较于基准系统，我们提出的方法的F1值在四大类关系(对比关系、偶然性关系、扩展关系和时序关系)上分别提高了3.21%、6.46%、2.74%和6.56%。

• 单位
  苏州大学