基于高低频特征分解的深度多模态医学图像融合网络

作者：王欣雨; 刘慧^*; 朱积成; 盛玉瑞; 张彩明

来源：图学学报, 2023, 1-13.

• 多模态医学图像融合
• 预训练模型
• 深度学习
• 高低频特征提取
• 残差注意力网络

多模态医学图像融合旨在利用跨模态图像的相关性和信息互补性，以增强医学图像在临床应用中的可读性和适用性。然而，现有手工设计的模型无法有效地提取关键目标特征，从而导致融合图像模糊、纹理细节丢失等问题。为此，提出了一种新的基于高低频特征分解的深度多模态医学图像融合网络，将通道注意力和空间注意力机制引入融合过程，在保持全局结构的基础上保留了局部纹理细节信息，实现了更加细致的融合。首先，通过预训练模型VGG-19提取两种模态图像的高频特征，并通过下采样提取其低频特征，形成高低频中间特征图。其次，在特征融合模块嵌入残差注意力网络，依次从通道和空间维度推断注意力图，并将其用来指导输入特征图的自适应特征优化过程。最后，重构模块形成高质量特征表示并输出融合图像。实验结果表明，该算法在Harvard公开数据集和自建腹部数据集峰值信噪比提升8.29%，结构相似性提升85.07%，相关系数提升65.67%，特征互信息提升46.76%，视觉保真度提升80.89%。

• 单位
  山东财经大学; 山东大学; 山东第一医科大学