基于层次语义结构的跨模态哈希检索方法

作者：王笛; 田玉敏; 王义峰; 张彩平; 万波; 罗雪梅; 赵辉; 潘蓉

来源：2021-09-28, 中国, ZL202111140203.7.

本发明公开了一种基于层次语义结构的跨模态哈希检索方法,其步骤为：(1)建立数据集；(2)构建图像和文本特征提取网络；(3)利用层次语义结构生成损失函数；(4)训练图像和文本特征提取网络；(5)用户用图像检索文本；(6)用户用文本检索图像。本发明通过将图像文本对标签中每层的所有类别的类哈希码扩展为对应层次的层次语义结构,将各层的层次语义结构融合到哈希码中,使得图像文本对的哈希码很大程度地保留了标签的同层与层间的关联信息,解决了现有跨模态哈希检索方法忽略层间关系导致标签信息不全面的问题和将标签信息融合到图像特征和文本特征中导致哈希码损失了部分语义信息的问题。

• 单位
  西安电子科技大学