基于深度学习的超声多模态乳腺肿块良恶性分类

作者：王怡伟; 李晓兵; 聂生东; 姜立新; 万财凤; 蒋卓韵^*; 贾守强^*

来源：中国医学物理学杂志, 2023, 40(08): 988-995.

DOI：10.3969/j.issn.1005-202X.2023.08.011

• 乳腺癌
• 深度学习
• 超声多模态
• 注意力机制
• 图像分类

针对超声单模态信息量少的问题，提出基于双路神经网络的多模态乳腺肿块分类模型。收集来自上海交通大学医学院附属仁济医院2021年的96例乳腺癌患者（51例恶性，45例良性）的807张灰阶图像和807张弹性图像进行实验。首先，对传统的ResNeXt101模型进行改进，去掉最后的平均池化层和全连接层并添加注意力机制模块，以提高模型对图像重要信息的关注；然后，将病人同一病灶的灰阶图像和弹性图像分别输入至两个改进的ResNeXt101网络中；最后，将两路网络输出的特征进行拼接融合，构建全连接分类层进行良恶性鉴别。实验结果表明，使用双路网络准确率为84.27%,ROC曲线下面积（AUC）为0.932，高于单模态的准确率和AUC值。

• 单位
  上海交通大学医学院附属仁济医院; 上海理工大学; 山东第一医科大学