基于残差网络的结直肠内窥镜图像超分辨率重建方法

作者：郑跃坤; 葛明锋^*; 常智敏; 董文飞

来源：中国光学(中英文), 2023, 16(05): 1022-1033.

• 内窥镜图像
• 超分辨率重建
• 残差结构
• 注意力机制
• 多尺度特征融合
• 索贝尔算子

针对结直肠镜图像分辨率偏低、纹理信息偏少和细节模糊等缺点，提出了一种基于残差注意力网络的图像超分辨率重建算法SMRAN，选取结直肠息肉内窥镜图像数据集PolypsSet中的部分图像作为原始数据进行实验。首先，使用卷积网络提取低分辨率图像的浅层特征；其次，设计Res-Sobel结构对图像边缘特征进行增强；然后，通过引入不同大小的卷积核，设计多尺度特征融合模块(Multi-Scale feature Extraction Block, MEB)，自适应地提取不同尺度的特征，从而得到有效的图像信息，并通过残差注意力网络将Res-Sobel模块和多尺度特征融合模块MEB进行连接；最后，通过亚像素卷积层对图像进行重建，得到最终的高分辨率图像。在尺度因子为×4时，网络在测试集上的测试结果如下:峰值信噪比PSNR为34.25 dB，结构相似性SSIM为0.867 5。实验结果表明，与传统的双三次插值算法及常用的SRCNN、RCAN等深度学习算法相比，本文提出的SMRAN对结直肠内窥镜图像具有更好的超分辨率重建效果。

• 单位
  中国科学技术大学; 中国科学院苏州生物医学工程技术研究所; 生物医学工程学院