融合卷积和Transformer的多尺度皮肤病变分割算法

作者：蒋新辉; 李筱林^*; 韦春苗; 覃镇锋

来源：无线电工程, 2023, 1-12.

• 图像处理
• Swin Transformer
• 多尺度特征聚合模块
• 注意力机制

皮肤病变自动分割对协助医生临床诊断、治疗及术后观察都具有非常重要的意义。现有卷积擅长建立局部相关性但无法捕获像素长程依赖关系，而Tansformer可以建立特征信息的全局依赖关系但会造成局部细节信息丢失。因此，本文提出了一种融合卷积和Transformer的多尺度自动分割网络。首先采用ResNet34作为基础编码块，利用其金字塔 结构建立病灶的多级局部相关性；其次采用Swin Transformer模块捕获上下文特征的长程依赖关系，考虑到病灶形状多变，大小不一等情况，本文提出多尺度特征聚合模块来进一步提取上下文特征多尺度信息；最后采用具有注意力机制的解码块逐步融合编码块提取到的多级语义信息。实验结果表明，本文模型在ISIC 2017数据集上测试所得的Dice系数分别高达89.55%，FPS高达83，与其他先进模型相比，本模型参数更少、推理速度更快、精度更高。

• 单位
  柳州铁道职业技术学院; 物联网学院