科研之友
微信
新浪微博
Facebook
分享链接
摘要
在医学图像中，MRI图像提供包含细节的纹理结构信息和较好的分辨率，而PET/SPECT图像保留了分子活性信息以及颜色功能信息，因此，将它们进行融合是一项重要的任务。大部分现有的方法在融合过程中存在颜色失真、模糊和噪声等问题。为此，提出了一种新的基于子空间注意力孪生自编码网络（Subspace Attention-Siamese Auto-encoding Network,SSASAEN）来融合MRI和PET/SPECT图像中有意义的信息。在图像融合网络中提出SSA-SAEN，引入了子空间特征相互学习概念，利用子空间注意力模块，使MRI和PET/SPECT图像能够在学习自己特征的同时互相学习彼此的特征，同时减少信息冗余，保证高效、完整的特征提取。此外，通过条件概率模型对所提取的特征进行互补融合，同时将加权保真项、梯度损失项加入到训练网络中，以达到网络优化的目的。在公共数据集上进行的大量定性和定量实验表明，该方法能够得到一幅清晰的融合图像，表明了该方法与其他先进方法相比的优越性和有效性。
- 单位
