科研之友
微信
新浪微博
Facebook
分享链接
摘要
本发明公开了一种基于多尺度编解码器的多模态医学图像融合方法,包括：1数据预处理；2构建多尺度编解码器网络,包括：多尺度编码器和解码器,其中,编码器结合卷积和视觉转换器,主要做多尺度特征提取；解码器为跨模态融合模块、多尺度特征融合模块以及上采样模块,主要对编码器提取的多尺度特征进行跨模态融合以及多尺度交互,最后上采样得到融合结果；3对多尺度编解码器网络进行训练,得到训练好的多尺度编解码器网络用于进行图像融合。本发明能充分利用不同模态医学图像中的互补信息和多尺度特征来融合出质量更好的医学图像,为人眼观察提供质量较好的图像,从而能促进后续计算机视觉任务的执行,为临床诊断和手术导航提供有利支持。
- 单位
