面向跨模态文本到图像行人重识别的Transformer网络

作者：姜定; 叶茫^*

来源：中国图象图形学报, 2023, 28(05): 1384-1395.

• 跨模态检索
• 行人重识别
• 行人搜索
• Transformer
• 图文检索

目的 文本到图像的行人重识别是一个图像文本跨模态检索的子任务，现有方法大都采用在全局特征匹配的基础上加入多个局部特征进行跨模态匹配。这些局部特征匹配的方法都过分复杂且在检索时会大幅减慢速度，因此需要一种更简洁有效的方法提升文本到图像的行人重识别模型的跨模态对齐能力。对此，本文基于通用图像文本对大规模数据集预训练模型，对比语言—图像预训练（contrastive language-image pretraining,CLIP），提出了一种温度投影匹配结合CLIP的文本到图像行人重识别方法。方法 借助CLIP预训练模型的跨模态图像文本对齐的能力，本文模型仅使用全局特征进行细粒度的图像文本语义特征对齐。此外，本文提出了温度缩放跨模态投影匹配（temperature-scaled cross modal projection matching,TCMPM）损失函数来进行图像文本跨模态特征匹配。结果 在本领域的两个数据集上与最新的文本到图像行人重识别方法进行实验对比，在CUHK-PEDES(CUHK person description)和ICFG-PEDES(identity-centric and fine-grained person description)数据集中，相比于现有性能较好的局部匹配模型，本文方法 Rank-1值分别提高了5.92%和1.21%。结论 本文提出的基于双流Transformer的文本到图像行人重识别方法可以直接迁移CLIP的跨模态匹配知识，无须冻结模型参数训练或接入其他小模型辅助训练。结合提出的TCMPM损失函数，本文方法仅使用全局特征匹配就在检索性能上大幅超过了现有局部特征方法。