科研之友
微信
新浪微博
Facebook
分享链接
摘要
联邦跨模态检索利用分散的客户端学习一个共享跨模态检索模型,从而降低集中大规模多模态训练数据时高昂的维护成本,解决分布式数据存储场景下跨模态检索中存在的数据隐私问题.然而现有的联邦跨模态检索方法大多依赖于大量的语义标注,这限制了检索模型在大规模应用场景下的扩展性.与之不同,本文提出一种无监督的联邦跨模态哈希检索模型,旨在保护客户端数据隐私的前提下,学习不依赖语义标注的跨模态检索模型.由于联邦环境中多模态数据分布不平衡,局部信息不足以让模型学习到整体数据上的模态间相似性,从而影响检索性能.为解决此问题,本文提出一个全局–局部模态间对比正则化方法,通过使用不同模态的全局哈希模型对单个模态的局部哈希模型进行约束,使局部哈希模型能够充分感知整体数据的相似性语义,从而加强对本地跨模态哈希学习过程的引导.同时,本文引入一种全局–局部模态内知识蒸馏策略来进一步地获取模态内特有的全局知识.5个基准跨模态检索数据集上的实验结果验证了本文提出方法的有效性.
- 单位
