一种融合CNN与Transformer的高鲁棒性目标跟踪算法

作者：刘沛津; 付雪峰; 孙浩峰; 何林^*; 刘淑婕

来源：系统仿真学报, 2023, 1-15.

DOI：10.16182/j.issn1004731x.joss.23-0833

• 目标跟踪
• 孪生网络
• Transformer
• 多头交叉注意力机制
• 高鲁棒性

针对因目标物体形变、尺度变化、快速运动和遮挡等导致目标跟踪算法性能下降的问题，基于孪生网络架构提出了一种融合CNN与Transformer的高鲁棒性目标跟踪算法。在特征提取阶段，使用标准卷积提取浅层局部特征信息，在深层网络中设计了一种类卷积Transformer模块建模全局信息，并采用滑窗方式计算Transformer中的像素值，大大降低了计算量。在特征聚合阶段，采用多头交叉注意力模块构建特征增强与聚合网络，滤除干扰信息，突出与模板相关的信息以提高特征的判别性。与目前的主流算法相比，所提算法在OTB2015数据集上的形变、尺度变化、快速运动和遮挡四种不同挑战下的评估指标均为最优。在GOT-10K数据集上的平均重叠度为70.8%，相比TransT和SiamR-CNN算法分别提高3.7和5.9个百分点。在LaSOT、UAV123数据集上成功率分别为67.7%、71.9%，相比TransT和SiamR-CNN算法分别提高2.8、2.8和2.9、7个百分点。在VOT2018和VOT2019数据集上的鲁棒性评估结果，所提算法跟踪失败次数最少，鲁棒性指标得分分别为0.112和0.266，相比Ocean算法分别提高0.5和5个百分点，进一步验证了所提算法具有更高鲁棒性。

• 单位
  机电工程学院; 西安建筑科技大学