基于多模态融合的激光除漆检测方法（英文）

作者：黄海鹏^*; 郝本田; 叶德俊; 高浩; 李亮

来源：Journal of Central South University (English Edition), 2022, 29(10): 3385-3398.

• 激光清洗
• 多模态融合
• 图像处理
• 深度学习

激光清洗是一种高度非线性物理过程，为解决激光清洗单模态(例如声学或视觉)检测性能不高，信息间利用率较低的问题，本文提出了基于激光除漆实验构建多模态特征融合网络模型。通过结合分段聚合近似以及格拉米角场解决不同模态间异构数据转换与对齐问题。并通过引入注意力机制优化双路径网络和密集连接网络增强对视觉图像和声波的特征提取与融合，从而实现激光除漆的多模态最优判别检测。实验结果表明，所构建模型在实验数据集上的验证准确率为99.17%，相比激光除漆单模态检测最优准确率提高5.77%。通过注意力机制优化特征提取网络，模型准确率提升3.3%。结果验证了本文所构建的多模态特征融合模型在检测激光除漆检测中具有更好的分类性能，模型能有效融合声波数据和视觉图像数据，实现激光除漆的准确检测。