Transformer与卷积神经网络相结合的皮肤镜图像自动分割算法

作者：韦春苗; 徐岩^*; 蒋新辉; 魏一铭

来源：计算机辅助设计与图形学学报, 2022, 34(12): 1877-1886.

• Transformer
• 混合池
• ResNet 34
• 高效卷积模块

皮肤镜图像的病灶区域与背景像素相似度高,且病灶存在形状多样,边缘模糊,人工或毛发遮挡等情况,为了获得更高精度的皮肤病变分割,提出了一种皮肤镜图像自动分割算法.首先,使用ResNet 34提取多种分辨率特征,在上下文部分使用Transformer模块对输入的特征进行全局建模;其次,通过混合池化模块聚合上下文特征的多尺度信息,在对应连接编解码器的跳跃连接间设计一个高效卷积模块以提高跳跃路径的边缘细化和抗干扰能力;最后,利用解码器恢复图像分辨率,并逐层融合其他浅层分辨率特征,利用Focal Loss函数改善难分割目标的精度.文中算法在ISIC2017,ISIC2018数据集上获得的Dice系数、准确率、Jaccard指数、灵敏度得分分别为88.83%,94.77%,81.43%, 88.49%和89.46%, 94.50%, 82.56%, 94.62%,与其他算法相比具有一定的优势,证明了该算法的有效性.

• 单位
  兰州交通大学; 柳州铁道职业技术学院