基于特征融合的无监督跨模态哈希

作者：梁天佑; 孟敏^*; 武继刚

来源：计算机工程, 2023, 49(02): 90-97.

DOI：10.19678/j.issn.1000-3428.0063841

• 无监督
• 跨模态
• 检索
• 哈希
• 深度学习

已有的无监督跨模态哈希（UCMH）方法主要关注构造相似矩阵和约束公共表征空间的结构，忽略了2个重要问题：一是它们为不同模态的数据提取独立的表征用以检索，没有考虑不同模态之间的信息互补；二是预提取特征的结构信息不完全适用于跨模态检索任务，可能会造成一些错误信息的迁移。针对第一个问题，提出一种多模态表征融合结构，通过对不同模态的嵌入特征进行融合，从而有效地综合来自不同模态的信息，提高哈希码的表达能力，同时引入跨模态生成机制，解决检索数据模态缺失的问题；针对第二个问题，提出一种相似矩阵动态调整策略，在训练过程中用学到的模态嵌入自适应地逐步优化相似矩阵，减轻预提取特征对原始数据集的偏见，使其更适应跨模态检索，并有效避免过拟合问题。基于常用数据集Flickr25k和NUS-WIDE进行实验，结果表明，通过该方法构建的模型在Flickr25k数据集上3种哈希位长检索的平均精度均值较DGCPN模型分别提高1.43%、1.82%和1.52%，在NUS-WIDE数据集上分别提高3.72%、3.77%和1.99%，验证了所提方法的有效性。

• 单位
  广东工业大学