基于双路径多模态交互的一阶段视觉定位模型

作者：王月; 叶加博; 林欣

来源：华东师范大学学报(自然科学版), 2024, (02): 65-75.

DOI：10.3969/j.issn.1000-5641.2024.02.008

• 视觉定位
• 多模态推理
• 引用表达

现有的一阶段方法分别提取视觉特征映射和文本特征,并进行多模态推理来预测被引用对象的边界框.这些方法存在以下两个缺点:首先,预先训练的视觉特征提取器在视觉特征中引入了与文本无关的视觉信号,阻碍了多模态交互;其次,现有模型的推理过程缺乏对语言建模的可视化指导.基于上述缺点,现有的一阶段方法的推理能力是有限的.提出了一种提取文本相关视觉特征映射的低阶交互和一种整合视觉特征的高阶交互来指导语言建模,并进一步对视觉特征进行多步推理.在此基础上,提出了一种新的网络结构,称为双路径多级交互网络.在5种常用的视觉定位数据集上进行了实验,结果表明该方法具有较好的性能和实时性.

• 单位
  华东师范大学