基于深度学习的语义SLAM关键帧图像处理

作者：邓晨; 李宏伟^*; 张斌; 许智宾; 肖志远

来源：测绘学报, 2021, 50(11): 1605-1616.

• 同时定位与建图
• ORB-SLAM3
• 三维语义地图
• 深度学习
• Mask R-CNN

同时定位和地图构建(SLAM)凭借其高能效和低功耗等特点在诸多领域应用前景广阔。然而,在传统的SLAM系统中仍存在一些问题:传统的视觉里程计中关键帧并不包含语义信息,移动机器人获取的图像信息较为单一,且在实际场景中关键帧总包含大量误匹配点和动态点。针对以上问题,本文提出一种语义SLAM思路。首先,为了能够匹配到正确且对应的特征点,摒弃动态点和误匹配点的干扰,提出了一种基于Lucas-Kanade光流法的相邻帧特征状态判别法,将这项功能作为新的线程加入ORB-SLAM3的视觉里程计部分,完成对部分传统SLAM框架的优化和改进工作。其次,针对传统SLAM系统前端视觉里程计获取的图像帧不包含任何语义信息的问题,使用基于YOLOV4的目标检测算法和融合全连接条件随机场CRF的Mask R-CNN语义分割算法对ORB-SLAM3中的关键帧图像进行处理,有效提高了机器人等智能设备对室内环境的感知能力。

• 单位
  郑州大学