基于GCI-CycleGAN风格迁移的跨模态地理定位方法

作者：李清格; 杨小冈^*; 卢瑞涛; 王思宇; 范继伟; 夏海

来源：红外与激光工程, 2023, 52(07): 319-331.

• 地理定位
• 风格迁移
• 智能匹配
• 跨模态图像
• 深度学习

近年来基于视觉的飞行器自主视觉定位技术发展迅速，是飞行器导航制导、态势感知和自主决策的关键技术之一。针对现有跨模态地理定位任务中存在模态差异大、匹配难度大、定位鲁棒性差等问题，提出了一种基于GCI-CycleGAN风格迁移的跨模态地理定位方法，通过将风格迁移算法、特征匹配算法和地理定位方法相结合，实现了飞行器跨模态地理定位。首先，获取无人机航拍的正下视实时红外图像和地理位置信息已知的可见光图像；其次，基于生成对抗网络图像风格转换的思想，设计新的生成对抗损失函数，构建并训练了GCI-CycleGAN模型，将可见光图像转换为红外图像；然后，利用SIFT、SURF、ORB、LoFTR、DFM匹配算法对生成的红外图像与实时红外图像进行匹配；最后，通过透视变换获得实时红外图像中心点在生成图像中的位置，再将该定位点映射到相应的可见光图像上，得到最终的地理定位结果。实验表明，GCI-CycleGAN相比CycleGAN网络可以有效提高图像风格迁移质量，与DFM智能匹配算法结合的匹配成功率最高可达99.48%，比原始跨模态匹配结果提高了4.73%，平均地理定位误差仅为1.37 pixel，取得了更加精确、鲁棒的地理定位结果。