摘要

针对土木施工工程机械位姿估计准确率低的问题,提出一种基于多模态的土木施工工程机械自动控制方法。在该方法中,首先从网络融合优化和分割损失函数优化对MaskRCNN进行改进,然后将改进后的MaskRCNN算法用于工程机械图像进行二维特征和三维点云特征提取;最后基于提取的多维度特征进行多模态信息融合,并通过回归函数对位姿进行估计。结果表明,MaskRCNN算法与ResNet、DenseNet骨干网相结合,可以提升边缘特征提取能力;实际工程机械抓取发现,该方法在土木工程抓取机械臂的精度控制方面,也具有较高的精度。

全文