基于双中间模态的四流网络跨模态行人重识别

作者：韩华; 黄丽; 田瑾; 王春媛

来源：计算机工程, 2023, 49(08): 302-309.

DOI：10.19678/j.issn.1000-3428.0065333

• 行人重识别
• 双中间模态
• 四流骨干网络
• 跨模态重识别
• 参数共享

摄像头大多配备红外和可见光功能，因此，重识别方法的应用必然要解决跨模态行人重识别问题。为缩小跨模态行人重识别中红外和可见光模态之间的差异，提高识别精度，提出基于双中间模态的四流跨模态行人重识别方法。由2个轻量级网络分别生成可见光模态和红外模态的双中间模态图像，并从可见光图像和红外图像中继承标签，通过拆分ResNet50骨干网络以重构适应于4种模态共享特征学习的网络。此外，还探讨了四流骨干网络中的参数共享问题，分析四模态共享块数量对于跨模态行人重识别的影响。实验结果表明，相比HcTri，该方法在SYSUMM01数据集上的全局检索模式下的Rank-1和mAP分别提高2.38和4.64个百分点，在室内检索模式下分别提高6.24和6.77个百分点，在RegDB数据集上可见光至红外检索模式下的Rank-1、mAP和mINP分别提高2.52、3.74和4.68个百分点，在红外至可见光检索模式下的Rank-1、mAP和mINP分别分别提高2.70、3.47和5.56个百分点。

• 单位
  上海工程技术大学