科研之友
微信
新浪微博
Facebook
分享链接
摘要
基于哈希的跨模态检索算法具有存储消耗低和搜索效率高的特点，跨模态哈希检索在多媒体数据中的应用成为当前的研究热点。目前对于跨模态哈希检索的主流方法是研究模态间哈希码的学习能力，忽视了不同模态之间的特征学习能力以及语义融合能力。将Clip中的图像-文本匹配问题转换为像素-文本匹配问题，文本特征经过Transformer解码器查询图片特征，鼓励文本特征学习到最相关的图片像素级信息，并将像素-文本匹配得分引导图片模态的特征学习，挖掘出不同模态之间的更深层次的相关联的语义信息，并引入二元交叉熵损失函数来提升模态之间的语义融合能力，在高维特征映射到低维的汉明空间时能够得到高质量的二值哈希码。在MIRFLICKR-25K和NUS-WIDE数据集上进行对比实验，实验结果表明所提算法模型在不同长度的哈希码条件下的检索效果均优于目前主流的算法。
- 单位
