融合注意力机制的枸杞虫害图文跨模态检索方法

作者：刘立波; 赵斐斐

来源：农业机械学报, 2022, 53(02): 299-308.

• 枸杞虫害
• 注意力机制
• 图文检索
• 跨模态

针对现有农作物病虫害检索模态较为单一问题，以17种常见的枸杞虫害图像和文本描述为研究对象，将跨模态检索引入枸杞虫害检索领域，提出一种融合注意力机制的枸杞虫害图文跨模态检索方法。首先，借助Transformer模型和循环神经网络分别获取带有上下文信息的细粒度图像和文本特征序列；然后，利用注意力机制对特征序列进行聚合以挖掘图像和文本的显著性语义信息；最后，为了深入挖掘不同模态间语义关联，采用跨媒体联合损失函数对模型进行约束。试验结果表明，本文方法在自建的枸杞虫害图文跨模态数据集上平均精度均值平均值达到了0.458。与现有的8种方法相比，平均精度均值平均值提高了0.011～0.195,优于所有对比方法，可为农作物病虫害多样化检索提供技术支撑和算法参考。