基于时空双流卷积和长短期记忆网络的松耦合视觉惯性里程计

作者：赵鸿儒; 乔秀全^*; 谭志杰; 李研; 孙恒

来源：计算机学报, 2022, 45(08): 1674-1686.

• 视觉惯性里程计
• 双流融合
• 长短期记忆网络
• 松耦合
• 时序缓存器

传统的松耦合视觉惯性里程计需要标定噪声和偏置等参数，而端到端学习的方法耦合性高、普适性低．因此，本文提出了一种由长短期记忆网络融合的端到端松耦合视觉惯性里程计EE-LCVIO(End-to-End Loosely Coupled Visual-Inertial Odometry)．首先，在相机位姿和IMU融合部分，构建了一个时序缓存器和由一维卷积神经网络和长短期记忆网络相结合的融合网络；其次，为了解决现有单目深度视觉里程计难以利用长序列时域信息的问题，通过使用相邻图像对和帧间密集光流作为输入，设计了一种基于时空双流卷积的视觉里程计TSVO(Visual Odometry with Spatial-Temporal Two-Stream Networks)．与DeepVO最多只能利用5帧图像信息相比，本文提出的视觉里程计可以利用连续10帧图像的时序信息．在KITTI和EUROC数据集上的定性和定量实验表明，TSVO在平移和旋转方面超过了DeepVO的44.6%和43.3%，同时，在传感器数据没有紧密同步的情况下，本文的视觉惯性里程计EE-LCVIO优于传统单目OKVIS(Open Keyframe-based Visual-Inertial SLAM)的78.7%和31.3%，鲁棒性高．与现有单目深度视觉惯性里程计VINet相比，EE-LCVIO获得了可接受的位姿精度，耦合性低，无需标定任何参数．

• 单位
  北京邮电大学; 网络与交换技术国家重点实验室