针对行人再识别中由于外观差异不显著导致特征描述不准确的问题,该文提出一种基于双向参考集矩阵度量学习(BRM2L)的行人再识别算法。首先通过互近邻算法获得每个摄像头下的互近邻参考集,为保证参考集的鲁棒性,联合考虑各摄像头下的互近邻参考集获得双向参考集。通过双向参考集挖掘出困难样本进行特征描述,从而得到准确的外观差异描述。最后利用该特征描述进行更有效的矩阵度量学习。在多个公开数据集上的实验结果证明了该算法比现有算法具有更好的行人再识别性能。