融合多尺度特征及注意力机制的医学图像检索

作者：周林鹏; 姚剑敏^*; 严群; 林志贤

来源：液晶与显示, 2021, 36(08): 1174-1185.

• 医学影像处理
• CBMIR
• 多尺度特征融合
• 注意力机制
• 多重损失函数

针对目前医学图像普遍存在病理区域尺寸分布较分散、细节特征不明显以及同类组织影像间的视觉差异较大等问题,本文在CBMIR系统的基础上,提出了一种融合多尺度特征及注意力机制的医学图像检索方法。该方法通过融合多尺度特征并设置可学习权重系数来自适应平衡浅层图像纹理特征和深层图像语义特征的关系,提高网络对不同尺度上的病理特征提取能力。同时,引入注意力模块,对网络输出的特征图进行通道加权求和,提高关键特征通道的特征表达能力,使网络更能关注到图像中的具有辨识性的病理特征区域。最后,在损失函数设计时,使用多重损失进一步优化样本特征在特征空间的分布。最终在Mura数据集上的mAP@100、mAP@20两个指标上分别达到了0.95、0.98的检索精度,基本符合实际场景对模型的检索精度要求。