基于语义引导自注意力网络的换衣行人重识别模型

作者：钟建华; 邱创一; 巢建树; 明瑞成; 钟剑锋^*

来源：计算机应用, 2023, 43(12): 3719-3726.

• 换衣行人重识别
• 多头自注意力网络
• 语义分割
• 特征重建
• 特征重组

针对换衣行人重识别（ReID）任务中有效信息提取困难的问题，提出一种基于语义引导自注意力网络的换衣ReID模型。首先，利用语义信息将图像分割出无服装图像，和原始图像一起输入双分支多头自注意力网络进行计算，分别得到衣物无关特征和完整行人特征。其次，利用全局特征重建模块（GFR），重建两种全局特征，得到的新特征中服装区域包含换衣任务中鲁棒性更好的头部特征，使得全局特征中的显著性信息更突出；利用局部特征重组重建模块（LFRR），在完整图像特征和无服装图像特征中提取头部和鞋部局部特征，强调头部和鞋部特征的细节信息，并减少换鞋造成的干扰。最后，除了使用行人重识别中常用的身份损失和三元组损失，提出特征拉近损失（FPL），拉近局部与全局特征、完整图像特征与无服装图像特征之间的距离。在PRCC(Person ReID under moderate Clothing Change)和VC-Clothes(Virtually Changing-Clothes)数据集上，与基于衣物对抗损失（CAL）模型相比，所提模型的平均精确率均值（mAP）分别提升了4.6和0.9个百分点；在Celeb-reID和Celeb-reID-light数据集上，与联合损失胶囊网络（JLCN）模型相比，所提模型的mAP分别提升了0.2和5.0个百分点。实验结果表明，所提模型在换衣场景中突出有效信息表达方面具有一定优势。

• 单位
  福州大学; 中国科学院福建物质结构研究所