基于YOLO轻量化的多模态行人检测算法

作者：苑朝; 赵亚冬; 张耀; 王嘉璇; 徐大伟^*; 翟永杰; 朱松松

来源：图学学报, 2023, 1-12.

• 行人检测
• YOLO
• 轻量化
• 多模态
• 深度可分离
• 图像熵

针对低光照环境下行人检测精度低和模型参数量大的问题，基于YOLO框架，提出一种轻量化的多模态行人检测算法EF-DEM-YOLO，该算法采用轻量的ES-MobileNet作为主干特征提取网络，并在该网络中引入ECA和SE-ECA注意力机制模块，增强重要的通道特征，提高小目标行人的检测精度。在颈部网络中设计了基于深度可分离卷积的DBL模块，进一步缩减模型的参数量。另外，为了提高低光照条件下行人的检测精度，利用可见光模态和红外模态在不同光照条件下特征互补的特点，提出了基于图像熵的可见光与红外模态加权融合方法，并设计了融合模块EWF。相比与基准方法：本文提出的算法对于不同光照条件下的行人目标，模型的mAP提高55.5%，MR降低85.9%，模型的推理速度达到33.4 帧/秒，并且均优于其他经典的目标检测算法。该算法为边缘计算和低光照场景下的行人目标的实时检测提供了可能。

• 单位
  华北电力大学; 中国科学院自动化研究所; 复杂系统管理与控制国家重点实验室