基于生成对抗网络的单目相机6D位姿估计

作者：刘鹏翔; 梁冬泰^*; 梁丹; 鲁烨超

来源：机械设计与研究, 2020, 36(06): 72-78.

DOI：10.13952/j.cnki.jofmdr.2020.0239

• 单目深度估计
• 位姿估计
• 生成式对抗网络
• 深度学习
• CAD模型
• 点云配准

针对单目相机基于模板方法位姿估计精度不足的问题,提出一种在先验条件下基于生成对抗网络(GAN),由单目相机获取工件深度信息进行位姿估计的新方法。首先,渲染工件CAD模型获取不同观察方位下的RGB图与深度图作为训练样本,解决了深度学习中数据集获取与标注繁琐的问题。然后,将GAN与深度图结合,利用GAN的图像翻译能力简化单目深度估计模型。最后,将二维图像跟踪敏感的位置信息与三维点云配准敏感的旋转矩阵结合作为位姿估计最终结果,提高了位姿估计的准确性。通过搭建位姿估计实验平台验证所提方法的可行性,结果表明,平移误差小于2 mm,旋转误差小于2°,能够满足机械臂抓取要求。将所提方法与主流位姿估计方法进行了对比试验,结果表明,所提方法的F1分数优于其他两种方法。

• 单位
  宁波大学