一种融合CNN和Swin Transformer的医学显微图像分割模型

作者：孙开鑫; 刘斌; 苏曙光^*

来源：计算机科学, 2023, 50(S2): 1023-1030.

• 显微图像分割
• Swin　Transformer
• 卷积神经网络
• 注意力机制
• 残差网络

医学显微图像分割在临床诊断和病理分析中具有重要应用价值。然而，由于显微图像具有形状、纹理、大小等复杂的视觉特征，因此要精确分割显微图像是一项困难的任务。文中提出了一种新的分割模型UMSTC，该模型基于U型结构，并通过将U-net模型和Swin Transformer模型进行融合来兼顾图像的细节特征和宏观特征，并保持建模完整性。具体来说，UMSTC模型的下采样部分采用Swin Transformer网络来优化其内含的注意力机制，以提取微观和宏观特征；上采样部分基于CNN网络反卷积操作，并通过残差机制接收和融合下采样阶段的特征图，以减小图像合成精度损失。实验结果表明，所提出的UMSTC分割模型比目前主流的医学图像语义分割模型具有更好的分割效果，其中mPA提高了约3%～5%,mIoU提高了约3%～8%，且分割结果具有更高的主观视觉质量和更少的噪点。因此，UMSTC模型在医学显微图像分割领域具有广泛的应用前景。

• 单位
  华中科技大学