基于二重语义相关性图卷积网络的跨模态检索方法

作者：刘佳楠; 范晶晶; 赵建光; 朱杰^*

来源：计算机应用研究, 2023, 1-9.

DOI：10.19734/j.issn.1001-3695.2023.08.0370

• 语义相关性
• 自适应相关性矩阵
• 图卷积网络
• 跨模态检索

随着深度神经网络的不断发展，跨模态检索模型的构建也随之取得了长足的进步。以图卷积网络(Graph Convolutional Network,GCN)为基础的跨模态检索方法可以较好的捕获数据的语义相关性，因此越来越受到人们的关注。但是，目前大部分研究多将标签之间和样本之间的相关性融入到跨模态表示当中，并没有考虑到标签集合之间的相关性对于跨模态检索模型性能的影响。在多标签场景下，标签集合之间的多标签相关性可以有效的描述对应样本之间的语义关系，因此，充分发现多标签相关性并将其融入到跨模态表示中，对于提高跨模态检索模型的性能有着重要的意义。因此，提出了一种基于二重语义相关性图卷积网络(DualSemantic Correlation Graph Convolutional Networks,DSCGCN)的跨模态检索方法，该方法利用GCN自适应的发现标签之间和多标签之间的语义相关性，并将此二重语义相关性融入到样本公共表示中。此外，还提出了一种多标签相似性损失，用于使生成的样本公共表示相似性更接近于语义相似性。通过在NUS-WIDE,MIRFlickr和MSCOCO三个数据集上的实验，可以发现由于引入了多标签语义相关性，DSCGCN可以获得令人满意的检索效果。

• 单位
  河北建筑工程学院; 河北大学