Transformer及门控注意力模型在特定对象立场检测中的应用

作者：何孝霆; 董航; 杜义华^*

来源：计算机系统应用, 2020, 29(11): 232-236.

DOI：10.15888/j.cnki.csa.007556

• 立场检测
• Transformer
• 注意力机制
• 词片模型

立场检测旨在通过意见持有者的表达来判断其是支持还是反对给定对象.准确地检测立场不仅需要对表达内容进行信息提取,而且还需要针对特定的对象进行立场匹配.本文将Transformer结构与门控注意力模型应用在特定对象立场检测中.该模型可以有效利用推文中独特的标签短语信息,同时结合门控注意力机制形成推文与对象的匹配信息,从而更好地判断该推文对该对象的真实立场.此外,该方法将情感分类作为辅助任务,可以更充分地将情感信息纳入立场判别当中,提高模型的表现.实验结果表明,该模型在SemEval-2016数据集上表现优于最新的深度学习方法.

• 单位
  中国科学院计算机网络信息中心; 中国科学院大学; 清华大学