科研之友
微信
新浪微博
Facebook
分享链接
摘要
本发明的一种基于子空间适应性间距的跨模态检索方法及存储介质,包括以下步骤,数据预处理,进行训练集测试集数据划分,并提取数据的原始高维特征；输入原始高维特征到网络模型获取图像文本的公共特征和对应的预测标签信息；使用公共特征和标签信息计算每种模态不同类别样本的适应性间距损失,然后结合注意力机制聚焦图片和文本中类别信息用于增强不同类别的判别性,最后计算不同模态之间的不变性损失；再通过反向传播对损失函数进行优化去迭代网络模型至收敛；使用收敛的网络模型计算所有图像文本的公共特征；最后对查询数据特征与公共特征进行相似度计算并排序返回结果。采用本发明进行跨模态检索的精度高于现有方法进行跨模态检索的精度。
- 单位
