面向高光谱医学图像分类的空-谱自注意力Transformer

作者：李远; 时旭; 杨正春; 谭崎娟^*; 黄鸿^*

来源：光学精密工程, 2023, 31(18): 2752-2764.

• 高光谱医学图像
• Transformer
• 空-谱自注意力
• 预测融合

高光谱成像技术的飞速发展给非侵入式医学成像带来新的契机，但高光谱医学图像具有高维度、高冗余以及“图谱合一”的特点，亟需针对上述特点设计智能诊断算法。近年来，Transformer已经在高光谱医学图像处理领域得到广泛应用。然而，不同仪器设备、不同采集操作所获得的高光谱医学图像差异较大，这给现有Transformer诊断模型的实际应用带来了巨大挑战。针对上述问题，本文提出了一种空-谱自注意力Transformer (S3AT)，自适应挖掘像素与像素间、波段与波段间的内蕴联系，并在分类阶段融合多个视野下的预测结果。首先，在Transformer编码器中，设计一种空-谱自注意力机制，获取不同视野下高光谱图像上的关键空间信息和重要波段，并将不同视野下所获得的空-谱自注意力进行融合。其次，在模型分类阶段，将不同视野下的预测结果根据可学习权重进行加权融合，对图像进行综合预测。在In-vivo Human Brain和BloodCell HSI两个数据集上，本文算法总体分类精度分别达到82.25%和91.74%。实验结果表明，所提出的算法有效改善高光谱医学图像分类性能。

• 单位
  重庆市肿瘤研究所; 重庆市妇幼保健院; 重庆大学