基于互预测学习的细粒度跨模态行人重识别

作者：李爽; 李华锋; 李凡^*

来源：激光与光电子学进展, 2022, 59(10): 157-168.

• 行人重识别
• 跨模态
• 互预测
• 细粒度特征

目前，有监督行人重识别方法着重关注单一模态（可见光）的行人检索问题。然而，在24 h的监控系统中，除可见光图像外，还存在大量的红外图像（这类图像缺少颜色和纹理信息）。因此，跨模态的行人检索方法可有效提升行人重识别技术的实用性。针对当前跨模态行人重识别方法存在忽视不同模态下独有判别性特征而导致的模型性能受限问题，提出了一种跨模态身份互预测学习和细粒度特征学习的跨模态行人重识别方法。该方法通过对模态专有身份分类器的设计，提升了模态内专有特征的判别性和鲁棒性，并通过构建交叉学习机制，促使网络将不同模态下的专有特征转化为模态不变特征，有效利用了模态特有判别性信息。此外，细粒度特征学习进一步从局部和全局两方面增强了网络特征表示的判别性。所提方法在公开数据集SYSU-MM01和RegDB上与同类方法相比，其结果优势明显，证明了所提方法的优越性。

• 单位
  自动化学院; 昆明理工大学