科研之友
微信
新浪微博
Facebook
分享链接
摘要
可见光与热红外跟踪（简称RGBT跟踪）的核心是有效的利用不同模态的信息，针对决策级融合中单分支产生低质结果影响算法判定目标的问题，提出了一个用于RGBT跟踪的孪生混合信息融合算法（SiamMIF）。首先，使用孪生主干网络SBN进行多模态特征提取；其次，从信噪比的角度分析低质图像对双分支并行决策产生的影响，进而设计了一个信噪比驱动的信息交互模块IIM对低信噪比特征进行信息互补；然后，利用双流无锚跟踪头对补偿后的特征进行分类回归；最后，采用自适应轻量决策模块ALDM对跟踪结果进行融合，快速判定目标位置。在4个RGBT跟踪基准数据集GTOT,RGBT234,VOT-RGBT2019,LasHeR上进行评估，所提方法在LasHeR数据集上的成功率和精确度分别为0.396和0.518，相较于APFNet提升了9.4%和3.6%，在其余数据集上所提方法也可以取得极具竞争力的结果，且在GPU上的运行速度能达到40fps。
- 单位
