基于CNN-Transformer双流网络的烧结火焰燃烧状态分类

作者：梁秀满; 安金铭; 曹晓华; 曾凯^*; 王福斌; 刘贺飞

来源：应用光学, 2023, 44(05): 1030-1036.

• 卷积神经网络
• Transformer
• 特征融合
• 烧结火焰
• 图像分类

烧结火焰图像中具有细粒度的局部火焰状态特征信息和复杂多变的全局火焰状态特征信息，而传统的卷积神经网络往往对局部特征更加敏感，难以提取火焰状态的全局特征信息，从而制约烧结火焰特征的表达能力，导致烧结火焰状态分类识别精度低。针对此类问题，提出一种基于CNN-Transformer的双流网络特征融合分类方法，该方法包含CNN(convolutional neural networks)流和Transformer流两个模块，首先将CNN块和Transformer块并行设计，CNN流提取烧结火焰RGB图像中的局部特征信息，Transformer流提取烧结火焰GRAY图像的全局特征信息；然后，将双流网络分别提取的烧结火焰状态局部特征信息和全局特征信息进行级联交互特征融合；最后，利用softmax分类器实现烧结火焰状态的分类。实验结果表明，火焰分类准确率可达96.20%，与传统卷积神经网络相比提升6%～8%的识别准确率。

• 单位
  华北理工大学