基于多帧一致性修正的自监督孪生网络目标跟踪方法

作者：程旭^*; 刘丽华; 王莹莹; 余梓彤; 赵国英

来源：计算机学报, 2022, 45(12): 2544-2560.

• 视频监控
• 目标跟踪
• 自监督学习
• 循环一致性损失
• 视觉注意力机制

深度学习技术促使目标跟踪领域得到了飞速发展,但有限的标注数据限制了深度模型的高效训练.因此,自监督学习应用于目标跟踪领域来解决模型训练需要大量标注数据的问题.然而,现有基于自监督学习的跟踪器大多提取目标浅层信息,缺乏对目标关键特征的高效表达,且忽视了因目标遮挡等挑战导致的反向验证难度大的问题,致使跟踪精度下降.为解决上述问题,本文提出一种基于多帧一致性修正的自监督孪生网络跟踪方法,由前向多帧反序验证策略、混序修正模块和视觉特征增强模块三部分共同构成.首先,前向多帧反序验证策略从多条路径中自适应选择最优目标轨迹来构造循环一致性损失优化函数,面对目标遮挡、背景干扰、形变等挑战时能够合理规划路径.其次,针对多条路径对同一帧目标预测位置的不一致问题,提出混序修正模块来修正跟踪偏移,增强了前向跟踪时特征提取网络的鲁棒性.此外,视觉特征增强模块通过自适应加权融合目标的全局上下文信息与局部语义特征信息,增强了模型对目标自身特征的表达能力.最后,本文方法在OTB2013、OTB2015、TColor-128和VOT-2018四个公开数据集上进行了验证.实验结果表明:在光照、形变、背景干扰等复杂场景下,相比于现有21种主流跟踪算法,本文方法在四个数据集上的精确度平均提高了4.6%,比基于自/无监督学习的跟踪器平均提高了5.8%的精确度.

• 单位
  南京信息工程大学