基于Transformer的复合材料多源图像实例分割网络

作者：柯岩; 周玮珠; 朱伟东

来源：红外与激光工程, 2022, 1-14.

• 缺陷检测
• 多光谱融合
• 纤维自动铺放
• 深度学习
• 实例分割

为提高复合材料铺放质量，辅助现场人员快速对缺陷进行检测，本文提出一种基于Transformer的复合材料多源图像实时实例分割网络Trans-Yolact，用来对复合材料缺陷进行检测、分类、分割。在Yolact网络框架基础上，针对复合材料缺陷特点，从空间域与通道域两个维度，增强网络对复合材料缺陷的检测能力。在空间域上，常规卷积核具有空间尺度的局限性，对狭长形、大尺寸缺陷的检测效果不佳。因此本文采用CNN+Transformer架构的BoTNet作为基础主干网络；同时将Transformer引入Yolact网络的FPN结构中，增强网络从非局部空间中获取信息的能力。在通道域上，采用红外与可见光联立的检测方式，并改进主干网络浅层结构，将其分为可见光通道、红外通道、混合通道，混合通道中引入通道域注意力机制，进一步增强网络对红外与可见光图像的综合判断能力。实验结果表明，改进后Trans-Yolact对复合材料缺陷mAP为88.0%，较基准Yolact网络提高5.5%，缺丝、扭转等狭长形缺陷AP提高15.2%、5.1%，包含部分大尺寸缺陷的异物类缺陷AP提高9.1%。最终对Trans-Yolact网络进行结构化剪枝，剪枝后较基准Yolact网络减少26.5%的计算量(FLOPs)、减少44.7%的参数量；检测帧数提高58%，达到57.67fps。并在大型龙门复合材料自动铺放设备上进行在线测试，可以满足生产过程最大铺放速度1.2m/s下，复合材料缺陷的实时检测分割。

• 单位
  浙江大学