基于LL-GG-LG Net的CT和PET医学图像融合

作者：周涛; 张祥祥^*; 陆惠玲; 李琦; 程倩茹

来源：光学精密工程, 2023, 31(20): 3050-3064.

• 医学图像融合
• 深度学习
• 注意力机制
• 可微分架构搜索
• 密集网

多模态医学图像融合在医学临床应用中起着至关重要的作用，为了解决现有方法大多数侧重于局部特征的提取，对全局依赖关系的探索不足，忽略了全局和局部信息交互，导致难以有效解决周围组织与病灶区域之间的模式复杂性和强度相似性问题。该文提出面向PET和CT医学图像融合的LL-GG-LG Net模型。首先，提出了局部-局部融合模块（Local-Local Fusion Module,LL Module），该模块采用双层注意力机制更好地关注局部细节信息特征；其次，设计了全局-全局融合模块（Global-Global Fusion Module,GG Module），该模块通过在Swin Transformer中加入残差连接机制将局部信息引入全局信息中，提高了Transformer对局部信息的关注程度；然后，提出一种基于可微分神经架构搜索自适应的密集融合网络的局部-全局融合模块（Local-Global Fusion Module,LG Module），充分捕获全局关系并保留局部线索，有效解决背景和病灶区域相似度高问题；使用临床多模态肺部医学图像数据集验证模型的有效性，实验结果表明，该文方法在平均梯度，边缘强度，QAB/F，空间频率，标准差，信息熵等感知图像融合质量评价指标上与其他七种方法中最优的方法相比，分别平均提高了21.5%,11%,4%,13%,9%,3%。模型能够突出病变区域信息，融合图像结构清晰且纹理细节丰富。

• 单位
  宁夏医科大学; 北方民族大学