PET-CT多模态融合在图像语义分割的应用进展

作者：周信宏; 黄钢^*

来源：中国医学物理学杂志, 2023, 40(06): 683-694.

DOI：10.3969/j.issn.1005-202X.2023.06.004

• PET-CT
• 卷积神经网络
• 语义分割
• 多模态
• 综述

近年来，深度学习在各种医学图像语义分割任务中表现出了优异的性能。然而，在癌症的淋巴结转移以及一些细小病灶的分割任务中，基于单模态图像的语义分割仍然存在局限性。PET-CT这一多模态成像模式提供了有关结构和生理病理的解剖和功能信息，被认为是癌症诊断、分期和治疗反应评估的首选成像设备。PET-CT携带的多模态互补信息被引入深度卷积神经网络的语义分割模型中辅助病灶的分割。首先，聚焦于PET-CT多模态图像特征融合在卷积神经网络图像语义分割中的应用，介绍多模态成像的特点以及常用的医学图像分割网络。然后，归纳和总结了现阶段基于深度学习的多模态融合的3种思路，并划分为早期融合、后期融合和混合融合，并从分割的性能、参数量的大小、方法的亮点与不足等维度对多模态融合分割方法进行优缺点分析。最后，对现阶段多模态医学图像分割存在的问题进行讨论。

• 单位
  上海理工大学; 上海健康医学院