本发明公开了一种基于跨模态约束的行人再识别方法和系统,其中行人再识别方法通过构建提取深度图和RGB图全局深层特征的全局特征提取网络、从深层特征中提取局部特征的局部特征提取网络和提取过渡状态特征的跨模态过渡网络,并通过融合全局损失和局部损失来训练基于跨模态约束的行人再识别系统;利用该系统来进行行人再识别。该方法无需一一对应的跨模态样本对的先验知识能够有效利用跨模态图像中丰富的异质特征,有效提取深度图像中更具有辨别性的特征,进而提升了识别效果。