结合自注意力与卷积神经网络的腺体及息肉分割方法

作者：张家宝; 肖志勇

来源：激光与光电子学进展, 2022, 1-12.

• 自注意力机制
• 卷积神经网络
• 双分支网络
• 结直肠腺癌
• 腺体分割
• 息肉分割

腺体和息肉的自动分割是人工智能辅助结直肠腺癌诊断的基础，但医学图像中的分割目标大小、形状多变，基于单一的卷积神经网络的自动分割方法已陷入瓶颈。因此本文提出了一个卷积神经网络和自注意力相结合的双分支网络LG UNet(Local-Global UNet)，用以提升分割的精度。首先，基于U-Net设计了Local UNet分支，利用卷积神经网络的优势，学习分割目标的局部信息。然后在Global Transformer分支中，利用Transformer全局依赖关系的学习能力来优化分割细节。最后在编码过程中通过交叉融合模块将Local分支和Global分支的特征图进行融合，将两者优势进行互补。在腺体分割挑战数据集Glas的两个测试子集TestA和TestB上，以Dice系数和IOU系数为主要评价指标，LG UNet的测试结果分别为93.62%、88.44%，和88.17%、80.49%。在息肉分割数据集Kvasir-SEG上，LG UNet的Dice系数和IOU系数分别为85.63%和77.82%。实验结果表明，结合Transformer和卷积神经网络优势的LG UNet在腺体和息肉分割上取得了更好的性能。

• 单位
  江南大学