基于文本引导的遥感图像视觉定位方法

作者:王笛; 赵晓虹; 王义峰; 王泉; 万波; 田玉敏; 罗雪梅; 刘锦辉; 赵辉; 潘蓉
来源:2023-07-14, 中国, CN202310866853.2.

摘要

本发明提出了一种基于文本引导的遥感图像视觉定位方法,实现步骤为:获取训练样本集和测试样本集;构建遥感图像视觉定位网络模型:包括文本引导视觉特征生成网络、文本编码器、多模态融合网络和定位网络;初始化参数;对视觉定位网络模型进行训练;对视觉定位网络模型的参数进行更新;获取视觉定位检测结果;本发明所构建的定位网络模型使用全局文本特征在通道级别和空间级别对视觉特征的生成进行了引导,充分利用了文本特征的全局语义信息,减少了语义信息中的歧义,而且在多个阶段利用不同层次的文本特征对不同尺度的视觉特征进行引导,充分利用了文本的浅层特征与深层特征,以及不同尺度视觉特征图的空间信息,对原始特征图中不够显著的目标特征进行了补充,有效的提升了遥感图像视觉定位的精度。