时间显著注意力孪生跟踪网络

作者：毛琳; 苏宏阳; 杨大伟^*

来源：吉林大学学报（工学版）, 2023, 1-12.

DOI：10.13229/j.cnki.jdxbgxb.20230003

• 计算机视觉
• 目标跟踪
• 目标遮挡
• 多尺度
• 特征融合
• 时间显著注意力

针对现有孪生神经网络仅利用空间信息，面对目标遮挡、消失、表观剧烈形变等挑战造成跟踪准确度下降问题，提出一种时间显著注意力孪生跟踪网络。该网络通过信息交换“桥梁”，一方面为当前帧添加时间显著注意力，引导网络重点学习目标特征；另一方面对内存网络中历史目标特征进行筛选，将其作为附加模板，提供目标额外表观信息，同时学习目标表观信息与空间位置的变化规律，指导后续检测、分类过程。为提高时间显著注意力能力，提出多尺度特征提取单元，弥补骨干网络特征提取不充分问题。在Got-10k数据集上进行模型测试，与目标跟踪算法时空记忆网络（STMTrack）相比，AO值提高2.4%。根据可视化结果显示，本文网络在目标遮挡、消失等挑战中，具有更高准确性。

• 单位
  大连民族大学; 机电工程学院