针对红外目标跟踪获得的目标特征鲁棒性差以及模型漂移易导致跟踪失败等问题,提出基于孪生网络的鲁棒红外目标跟踪算法,即利用预训练孪生网络提取红外目标多卷积层特征,以获取红外对象的空间及语义信息。通过相对熵滤波网络进行响应图融合,并以融合后的响应图为基础设计自适应模板的更新策略。在具有挑战性的红外跟踪数据集VOT-TIR2016上进行的实验表明,该算法具有良好的精度和鲁棒性,并能应对目标被遮挡以及目标外观快速变化等挑战。