高低显著性互补特征引导的跨模态行人重识别

作者：陈明; 郭立君; 张荣

来源：计算机工程与应用, 2023, 1-13.

• 跨模态
• 互补特征
• 次关键线索
• 特征融合
• 重识别

在跨模态行人重识别（VI-ReID）任务中，有效挖掘行人图像中的显著信息并缓解模态间存在的差异是提升模型性能的关键。目前，现有工作主要采用基于注意力的方法来增强模型对行人身体上的鉴别特征的学习。然而，这种方法仅关注行人最显著的区域，而忽略了行人图像中互补的次关键线索。因此，本文提出了一个显著性互补特征指导网络（SCFG-Net）。首先设计了一个互补特征显著挖掘（CFSM）模块，用于推理出具有全局信息的行人图像的显著特征和被注意力忽略的次关键线索，并将这些特征进行融合，以提高行人图像特征的丰富性和鉴别性。此外，还设计了一个跨模态判别特征融合（CDFF）模块，用于缓解模态间的颜色差异。实验结果表明，所提出的方法在两个公开数据集上取得了显著的性能提升。在SYSU-MM01数据集的全搜索单镜头模式下，Rank-1和mAP分别达到了74.4%和70.8%。

• 单位
  宁波大学