一种基于图注意力的双分支社会关系识别方法

作者：李欢; 陈念年^*

来源：计算机应用研究, 2023, 40(11): 3315-3320.

DOI：10.19734/j.issn.1001-3695.2023.03.0102

• 图注意力网络
• 社会关系识别
• 关系推理
• 图神经网络

从图像中挖掘人物间的社会关系在刑侦、隐私防护等领域有重要的作用。现有的图建模方法通过创建人际关系图或构建知识图谱来学习人物关系，取得了良好的效果。但基于图卷积神经网络(GCN)的方法一定程度上忽略了不同特征对特定关系的不同程度的重要性。针对上述问题，提出了一种基于图注意力的双分支社会关系识别模型(GAT-DBSR)。第一个分支提取人物区域以及图像全局特征作为节点，核心是通过图注意力网络和门控机制去更新这些节点以学习人物关系的特征表示；第二个分支通过卷积神经网络提取场景特征来增强对人物关系的识别；最终对两个分支的特征进行融合并分类得到所有的社会关系。该模型在PISC数据集的细粒度关系识别任务上的mAP达到了74.4%,相比基线模型提高了1.2%。在PIPA数据集上的关系识别准确率也有一定的提升。实验结果表明了该模型具有更优越的效果。

• 单位
  西南科技大学