空间双线性注意力网络识别溃疡性结肠炎与克罗恩病

作者：戚婧; 阮广聪; 杨毅; 吴毅; 曹倩; 魏艳玲; 粘永健^*

来源：陆军军医大学学报, 2023, 45(03): 227-242.

DOI：10.16016/j.2097-0927.202209187

• 炎症性肠病
• 深度学习
• 溃疡性结肠炎
• 克罗恩病

目的 利用深度学习技术辅助内镜医师识别溃疡性结肠炎(ulcerative colitis, UC)与克罗恩病(Crohn’s disease, CD)。方法 收集2018年1月至2020年11月陆军特色医学中心消化内科与邵逸夫医院消化内科共1 576例受试者的内镜图像，包括CD、UC与正常三类共计34 300幅，并按照9∶1的比例随机划分训练集与测试集，用于对网络进行训练与测试。在ResNet50基础上构建新颖的空间双线性深度网络(SABA-ResNet),引入空间注意机制，通过膨胀卷积扩大感受野以联系上下文信息，并与普通卷积局部归纳特性相配合，自适应聚焦病变区域。利用双线性注意提高网络的特征表示能力，以二阶信息加权特征映射的通道信息，从而提高模型的分类性能。结果 SABA-ResNet在测试集上对CD、UC和正常识别的总体准确率为92.67%(95%CI:91.91～93.37),AUC分别为0.978(95%CI:0.972～0.983)、0.977(95%CI:0.971～0.982)和0.999(95%CI:0.998～1.000),灵敏度分别为88.40%、89.07%、98.89%,特异性分别为95.49%、94.88%、98.93%,F1值分别为88.80%、89.01%和98.60%。消融实验与类激活映射图表明空间注意与双线性注意可帮助模型捕获更多病变区域的特征。结论 所构建的网络将空间注意与双线性注意相结合，在CD、UC与正常的识别中取得了良好的性能，可以有效辅助内镜医师对UC与CD进行识别。

• 单位
  中国人民解放军陆军军医大学; 浙江大学医学院附属邵逸夫医院; 第三军医大学