科研之友
微信
新浪微博
Facebook
分享链接
摘要
本发明涉及多模态数据检索技术领域,特别是涉及一种跨模态检索方法、装置、计算机设备和存储介质。所述方法包括：获取第一模态待匹配数据,所述第一模态待匹配数据包括图像数据、文本数据；当所述第一模态待匹配数据为图像数据时,利用深度残差网络ResNet模型进行特征向量提取,当所述第一模态待匹配数据为文本数据时,利用变分自编码器模型进行特征向量提取；利用预设的映射函数将所述特征向量映射到公共表示空间；在所述公共表示空间内计算所述第一模态待匹配数据与第二模态配对数据的相似度,并根据所述相似度输出对应的所述第二模态配对数据,完成跨模态检索。本发明对数据的特征提取更加充分,提高了检索准确率。
- 单位
