科研之友
微信
新浪微博
Facebook
分享链接
摘要
对于多模态方面级情感分析任务，除了需要提取出文本和图像的表示，还需要将它们与方面语义信息相结合处理。然而，以往的相关方法对方面与文本和图像信息之间的交互处理不够充分，即使使用注意力机制建立起模态全局之间的关联，也难以在细粒度表达出它们的交互。为了充分进行多模态之间细粒度上的信息交互，提出一种面向目标交互图神经网络，围绕文本、图像和方面三者的关系建模，首先采用交叉注意力获取面向方面目标的文本和图像全局表示；然后建立多模态交互图，以连接不同模态的局部及全局表示节点；最后使用图注意力网络在粗细两个粒度上充分融合特征。在两个基准数据集上进行实验，结果表明，该模型相比于仅使用注意力机制的模型，具有更佳的情感分类效果。
- 单位
