双分支多粒度局部对齐的实例级草图图像检索

作者：韩雪昆; 苗夺谦^*; 张红云; 张齐贤

来源：模式识别与人工智能, 2023, 36(08): 701-711.

DOI：10.16451/j.cnki.issn1003-6059.202308003

• 草图图像检索
• 特征提取
• 特征融合
• 跨模态检索

实例级草图图像检索旨在使用草图检索图像.草图与真实图像之间存在模态差异大和特征不对齐问题，现有方法不能有效减小草图和图像之间模态差异，并且只在单个粒度上获取信息，无法有效进行特征对齐.因此，文中提出双分支多粒度局部对齐网络(Two Stream Multi-granularity Local Alignment Network, TSMLA),引入双分支特征提取器，提取模态共享和模态特异的局部特征，同时利用这两种特征计算草图和真实图像间的距离，减少不同模态间的差异.同时，提出多粒度局部对齐模块，对距离矩阵进行不同粒度的池化操作，在不同尺度上对齐局部特征，进一步解决特征不对齐问题.TSMLA能够充分利用草图和真实图像的信息，同时有效利用不同粒度特征间的联系.在多个数据集上的实验验证TSMLA的有效性.

• 单位
  同济大学; 嵌入式系统与服务计算教育部重点实验室