基于深度学习的盲道和盲道障碍物识别算法研究

作者：马文杰; 张轩雄

来源：电子科技, 2023, 1-10.

DOI：10.16180/j.cnki.issn1007-7820.2024.03.010

• 盲道分割
• 盲道障碍物检测
• 目标检测
• 图像分割
• 特征融合
• Transformer
• 多任务学习
• 深度学习

盲道和盲道障碍物是影响盲人出行安全的重要因素，现有算法只对盲道分割和盲道障碍物检测单独处理，效率偏低、计算量偏高。针对上述问题，文中提出了一种基于深度学习的多任务识别算法。该算法通过骨干网络（Transformer Encoder）提取公共特征，将提取的特征经过SPP和FPN网络融合特征后，分别传入分割网络（All-MLP Decoder）和检测网络（FCN Detection Head）完成盲道分割和盲道障碍物检测的任务。为了让盲道分割更平整，引入修正损失函数（rectify＿loss）；为了提高障碍物检测召回率，将检测网络的NMS替换为soft-NMS。实验结果表明：该算法分割部分MIoU、MPA分别达到了93.52%、95.29%，检测部分mAP@0.5、mAP@0.75以及mAP分别达到了91.58%、74.82%和75.58%，相比于分别使用SegFormer网络进行盲道分割和RetinaNet网络进行盲道障碍物检测，该算法在精度提升的同时，速度上也提升73.72%，FPS达到了18.52。相比于其他对比算法，该算法在速度和精度上也有一定的提升。

• 单位
  上海理工大学