基于多模态图像融合的早期蕈样肉芽肿识别

作者：谢凤英^*; 赵丹培; 王可; 刘兆睿; 王煜坤; 张漪澜; 刘洁

来源：数据采集与处理, 2023, 38(04): 792-801.

DOI：10.16337/j.1004-9037.2023.04.004

• 皮肤镜图像
• 临床图像
• 多模态图像融合
• 临床应用
• 辅助诊断

早期蕈样肉芽肿（Mycosis fungoid, MF）可表现为红斑鳞屑性皮损，很难从银屑病及慢性湿疹等良性炎症性皮肤病中鉴别出来。本文提出了一种基于多模态图像融合的早期蕈样肉芽肿识别方法。该方法基于皮肤镜图像和临床图像，采用ResNet18网络提取单模态图像的特征；设计跨模态的注意力模块，实现两种模态图像的特征融合；并且设计自注意力模块提取融合特征中的关键信息，改善信息冗余，从而提高蕈样肉芽肿智能识别的准确度。实验结果表明，本文所提出的智能诊断模型优于对比算法。将本文模型应用于皮肤科医生的实际临床诊断，通过实验组医生和对照组医生平均诊断准确率的变化证实了本文模型能够有效提升临床诊断水平。

• 单位
  北京协和医院; 中国医学科学院北京协和医学院; 北京航空航天大学