基于3层分解和卷积神经网络的多模态医学图像融合

作者：赵婉婉; 方贤进^*; 苏树智

来源：湖北民族大学学报(自然科学版), 2023, 41(01): 71-78.

DOI：10.13501/j.cnki.42-1908/n.2023.03.011

• 多模态医学图像融合
• 多尺度分解
• 卷积神经网络
• 低通滤波器
• 相位一致性

针对多尺度分解(multi-scale decomposition, MSD)方法会导致图像细微组织结构丢失和产生噪声的问题，结合结构纹理分解模型、改进的卷积神经网络和相位一致性方法，提出1种新的多模态医学图像融合方法。首先，针对MSD容易产生噪声的问题，引入低通滤波器优化函数和结构纹理分解模型，有效解决了分解技术的难题；其次，对结构纹理部分设计1种基于卷积神经网络结合高斯平滑的融合方法，加强了对图像细节部分的提取，消除了噪声，并对高频部分引入基于相位一致性的改进方法进行融合；然后通过分解过程的逆变换得到最终的融合图像。定性、定量分析表明，所提出的算法在视觉效果、互信息(mutual information, MI)、特征互信息(feature mutual information, FMI)、结构相似性(structure similarity index measure, SSIM)、信息熵(entropy of information, EN)、峰值信噪比(peak signal to noise ration, PSNR)方面都达到了较高水平，融合后的图像更有利于专家和医生的诊断。

• 单位
  安徽理工大学