不同光照下多模态注意力融合的车辆检测

作者：王佳琪; 张淇; 黄巍^*

来源：计算机工程与应用, 2023, 1-9.

• 车辆检测
• 多模态融合
• 自注意力机制
• 离散余弦变换

针对现有基于单模态车辆检测算法受光照变换所导致的性能下降问题，提出了一种红外和可见光融合的多模态检测算法YOLO-MMF。该方法构建高效的双流特征提取网络，分别提取可见光图像和红外图像的特征，用DenseBlock结构代替了YOLOv5中浅层CSP模块中的瓶颈层，加强对小目标的特征提取能力；同时，采用特征级融合机制，利用离散余弦变换获取高频信息，改善因平均池化使细节信息丢失现象，并与自注意力机制相结合，使网络可以自发捕捉模态间潜在的互补性，从而显著提高车辆检测的性能。在DroneVehicle数据集上实验结果证实该方法的有效性，相比单一模态检测方式，平均检测精度分别提升了14.4%和10.8%，该方法在面对光照变换等复杂情况具有较好的鲁棒性。

• 单位
  武汉工程大学; 电气学院