用于跨模态舰船图像检索的判别性对抗哈希变换器

作者：关欣; 国佳恩^*; 卢雨

来源：电子与信息学报, 2023, 45(12): 4411-4420.

• 跨模态检索
• 舰船图像
• 对抗训练
• 哈希变换
• 变换器

针对当前主流的基于卷积神经网络(CNN)范式的跨模态图像检索算法无法有效提取舰船图像细节特征，以及跨模态“异构鸿沟”难以消除等问题，该文提出一种基于对抗机制的判别性哈希变换器(DAHT)用于舰船图像的跨模态快速检索。该网络采用双流视觉变换器(ViT)结构，依托ViT的自注意力机制进行舰船图像的判别性特征提取，并设计了Hash Token结构用于哈希生成；为了消除同类别图像的跨模态差异，整个检索框架以一种对抗的方式进行训练，通过对生成哈希码进行模态辨别实现模态混淆；同时设计了一种基于反馈机制的跨模加权5元组损失(NW-DCQL)以保持网络对不同类别图像的语义区分性。在两组数据集上开展的4类跨模态检索实验中，该文方法相比次优检索结果分别取得了9.8%, 5.2%, 19.7%, 21.6%的性能提升(32 bit)，在单模态检索任务中亦具备一定的性能优势。