科研之友
微信
新浪微博
Facebook
分享链接
摘要
基于图像的视觉数据跨域检索任务旨在搜索与输入图像在语义上一致或外形上相似的跨域图像和三维模型数据，其挑战在于处理跨域数据之间的模态异质性。现有方法通过构建公共特征空间，采用域适应算法或者深度度量算法实现了跨域特征的域对齐或语义对齐，其有效性仅在单一类型的跨域检索任务中进行验证。为解决上述问题，提出了一种基于深度语义关联学习的方法适用于多种类型的基于图像的跨域视觉数据检索任务。首先，使用异构网络来提取跨域数据的初始视觉特征，然后，通过构建公共特征空间实现初始特征映射，以便进行后续的域对齐和语义对齐；最后，通过域内鉴别性学习、域间一致性学习和跨域相关性学习消除跨域数据特征之间的异质性，探索跨域数据特征之间的语义相关性，并为检索任务生成鲁棒且统一的特征表示。为验证该方法的优越性，在RSketch、Sketchy、TU-Berlin、IM2MN、MI3DOR和MDI3D数据集上进行了广泛的实验验证。其中，TU-Berlin、IM2MN和MI3DOR数据集中的平均精度（mean average precision）分别达到了0.448、0.689和0.874，明显优于其他方法。
- 单位
