结合卷积Transformer的目标跟踪算法

作者：王春雷; 张建林; 李美惠; 徐智勇; 魏宇星

来源：计算机工程, 2023, 49(04): 281-288+296.

DOI：10.19678/j.issn.1000-3428.0064096

• 孪生网络
• Transformer目标跟踪
• 窗口注意力
• 互注意力
• 运动估计
• 搜索区域

现有基于Transformer的目标跟踪算法未充分利用Transformer的长距离依赖属性，导致算法提取的特征判别性不足，跟踪稳定性较差。为提高孪生网络目标跟踪算法在复杂场景中的跟踪能力，结合卷积与Transformer的优势，提出目标跟踪算法CTTrack。在特征提取方面，利用卷积丰富的局部信息和Transformer的长距离依赖属性，以卷积和窗口注意力串联的方式和层次化的结构构建一个通用的目标跟踪骨干网络CTFormer。在特征融合方面，利用互注意力机制构建特征互增强与聚合网络以简化网络结构，加快跟踪速度。在搜索区域选择方面，结合目标运动速度估计，设计自适应调整搜索区域的跟踪策略。实验结果表明，CTTrack在GOT-10k数据集上的平均重叠度为70.3%，相比基于Transformer的跟踪算法TransT和TrDiMP均提高3.2个百分点，在UAV123数据集上的曲线下面积为71.1%，相比TransT和TrDiMP分别提高2.0个百分点和3.6个百分点。在TrackingNet、LaSOT、OTB2015、NFS数据集上分别取得82.1%、66.8%、70.1%、66.3%的曲线下面积，并能以43帧/s的速度进行实时跟踪。

• 单位
  中国科学院光电技术研究所; 中国科学院大学