科研之友
微信
新浪微博
Facebook
分享链接
摘要
跨模态图像-文本检索是一项在给定一种模态（如文本）的查询条件下检索另一种模态（如图像）的任务。该任务的关键问题在于如何准确地测量图文两种模态之间的相似性，在减少视觉和语言这两种异构模态之间的视觉语义差异中起着至关重要的作用。传统的检索范式依靠深度学习提取图像和文本的特征表示，并将其映射到一个公共表示空间中进行匹配。然而，这种方法更多地依赖数据表面的相关关系，无法挖掘数据背后真实的因果关系，在高层语义信息的表示和可解释性方面面临着挑战。为此，在深度学习的基础上引入因果推断和嵌入共识知识，提出嵌入共识知识的因果图文检索方法。具体而言，将因果干预引入视觉特征提取模块，通过因果关系替换相关关系学习常识因果视觉特征，并与原始视觉特征进行连接得到最终的视觉特征表示。为解决本方法文本特征表示不足的问题，采用更强大的文本特征提取模型BERT（Bidirectional encoder representations from transformers，双向编码器表示），并且嵌入两种模态数据之间共享的共识知识对图文特征进行共识级的表示学习。在MS-COCO数据集以及MS-COCO 到Flickr30k上的跨数据集实验，证明了本文方法可以在双向图文检索任务上实现召回率和平均召回率的一致性改进。
- 单位
