多尺度特征融合与加性注意力指导脑肿瘤MR图像分割

作者：孙家阔; 张荣^*; 郭立君; 汪建华

来源：中国图象图形学报, 2023, 28(04): 1157-1172.

• 医学图像分割
• 脑肿瘤
• 磁共振(MR)图像
• U-Net
• 多尺度特征融合
• 加性注意力

目的 U-Net是医学图像分割领域中应用最为广泛的基础分割网络，然而U-Net及其各种增强网络在跳跃连接时仅利用相同尺度特征，忽略了具有互补信息的多尺度特征对当前尺度特征的指导作用。同时，跳跃连接时编码器特征和解码器特征所处的网络深度不同，二者直接串联会产生语义特征差距。针对这两个问题，提出了一种新型分割网络，以改进现有网络存在的不足。方法 首先，将编码器不同层级具有不同尺度感受野的特征进行融合，并在融合特征与编码器各层级特征间引入加性注意力对编码器特征进行指导，以增强编码器特征的判别性；其次，在编码器特征和解码器特征间采用加性注意力来自适应地学习跳跃连接特征中的重要特征信息，以降低二者间的语义特征差距。结果 在多模态脑肿瘤数据集BraTS2020(multimodal brain tumor segmentation challenge 2020)上评估了所提出的网络模型，并进行了消融实验和对比实验。实验结果表明，所提出的网络在BraTS2020验证数据集上关于整个肿瘤、肿瘤核心和增强肿瘤的平均Dice分别为0.887 5、0.719 4和0.706 4，优于2D网络DR-Unet104(deep residual Unet with 104 convolutional layers)的分割结果，其中肿瘤核心和增强肿瘤的分割结果分别高出后者4.73%和3.08%。结论 所提出的分割网络模型，通过将编码器中具有互补信息的多尺度特征进行融合，然后对当前尺度特征进行加性注意力指导，同时在编码器和解码器特征间采用加性注意力机制来降低跳跃连接时二者间的语义特征差距，能更精准地分割MR(magnetic resonance)图像中脑肿瘤子区域。

• 单位
  宁波大学; 宁波大学医学院附属医院