科研之友
微信
新浪微博
Facebook
分享链接
摘要
RGBT目标跟踪得益于可见光与热红外两种模态数据的互补优势能够很好地提升跟踪器在部分极端环境下的目标定位能力。现有的工作主要集中在如何对两种模态的特征进行提取和融合，而忽略了不同模态中分层深度特征的潜在价值，这些分层深度特征对目标的定位与分类起着重要的作用。为此，提出了一种多层次特征交互的多模态自适应融合目标跟踪算法，首先，该算法通过特征提取器和注意力机制对分层特征进行提取与自适应校准，其次，分层特征聚合子网将不同层的特征进行自上而下相互聚合，使低层特征不仅保留了自身的空间细节也获取了高层特征的语义信息，最后，设计了一种多模态信息传递模块对两种模态的分层信息进行自适应融合，使模型聚焦到质量更高的特征通道上。通过多个公开数据集上的大量实验结果表明，提出的多模态目标跟踪算法具有优良的抗干扰特性，特别是由于尺度变化、热交叉、遮挡等因素引起的跟踪漂移得到了显著优化。
- 单位
