基于多级语义的判别式跨模态哈希检索算法

作者：刘芳名; 张鸿

来源：计算机应用, 2021, 41(08): 2187-2192.

DOI：10.11772/j.issn.1001-9081.2020101607

• 多级语义
• 语义结构
• 判别性哈希
• 语义指导
• 跨模态检索

针对大多数跨模态哈希方法采用二进制矩阵表示相关程度,因此无法捕获多标签数据之间更深层的语义信息,以及它们忽略了保持语义结构和数据特征的判别性等问题,提出了一种基于多级语义的判别式跨模态哈希检索算法——ML-SDH。所提算法使用多级语义相似度矩阵发现跨模态数据中的深层关联信息,同时利用平等指导跨模态哈希表示在语义结构和判别分类中的关联关系,不仅实现了对蕴含高级语义信息的多标签数据进行编码的目的,而且构建的保留多级语义的结构能够确保最终学习的哈希码在保持语义相似度的同时又具有判别性。在NUSWIDE数据集上,哈希码长度为32 bit时,所提算法在两个检索任务中的平均准确率(m AP)比深度跨模态哈希(DCMH)、成对关联哈希(PRDH)、平等指导判别式哈希(EGDH)算法分别高出了19.48,14.50,1.95个百分点和16.32,11.82,2.08个百分点。

• 单位
  武汉科技大学; 智能信息处理与实时工业系统湖北省重点实验室