基于模态内相似性与语义保留的深度跨模态哈希

作者：李天煜; 刘立波^*

来源：数据分析与知识发现, 2023, 7(05): 105-115.

• 跨模态检索
• 跨模态哈希
• 模态内相似性保留
• 语义信息保留

【目的】解决现有大多数跨模态哈希方法在相似性度量时仅考虑模态间相似性，且无法充分利用标签语义信息，从而忽略了异构数据细节并导致语义信息丢失的问题。【方法】首先对来自图像和文本的数据分别采用欧氏距离和谷本系数度量其模态内相似性；接着采用二者加权值度量模态间相似性以充分利用异构数据细节信息；之后通过保留数据标签的语义信息来提高哈希码的判别性，防止语义信息丢失；最后，对生成的哈希码计算量化损失并施加哈希位平衡约束，进一步提升哈希码质量。【结果】与11种方法进行对比，在MIR-Flickr25k数据集中文检图和图检文任务上哈希码长度为64位时，mAP最高分别提升了9.5和5.8个百分点，在NUS-WIDE数据集中则最高分别提升了4.7和1.1个百分点。【局限】模型训练时依赖标签信息，在无监督和半监督情况下性能下降。【结论】所提方法能保留异构数据细节信息并防止语义信息丢失，有效提升了模型检索性能。