科研之友
微信
新浪微博
Facebook
分享链接
摘要
哈希算法因其低存储和高效率而被广泛应用于跨模式检索。深度哈希能够很好地提取多模态数据的特征,近年来受到越来越多的关注。然而,大多数用于跨模态检索的深度哈希方法没有充分利用使用所有信息,也没有充分挖掘异构数据的相关性。提出一种基于全局和局部特征的深度跨模态哈希与相关性对齐方法。在该方法中,分别为图像和文本模态设计两个深度神经网络来分别提取图像和文本的全局和局部的特征,并学习两个哈希函数。同时,保留异构数据特征的模态间相似性,这可以利用语义相关性。其次,对异源数据的分布进行对齐,以便更好地挖掘模态间相关性。实验结果表明,该方法优于最先进的方法。
- 单位
