基于循环生成对抗网络的低质量眼底图像增强效果评估

作者：周雪婷; 杨卫华; 华骁; 游齐靖; 孙晶; 沈建新; 万程^*

来源：中华实验眼科杂志, 2021, 39(09): 769-775.

• 深度学习
• 图像增强
• 循环生成对抗网络
• 眼底图像

目的构建循环生成对抗网络(CycleGAN)对模糊、曝光不足、曝光过度等低质量眼底图像进行质量提升, 并对其效果进行评估。方法从EyePACS数据集中分别选取700张高质量和700张低质量眼底图像作为本研究的数据集。对数据集图像进行裁剪并统一缩放至512×512分辨率。采用2个生成模型和2个判别模型构建CycleGAN, 生成模型根据输入的低/高质量眼底图像生成匹配的高/低质量图像, 判别模型判别原始图像和生成图像。将本研究提出的算法与限制对比度自适应直方图均衡化(CLAHE)、动态直方图均衡化(DHE)、带色彩恢复的多尺度Retinex(MSRCR)3种图像增强算法的结果进行视觉定性评估, 并采用清晰度、BRISQUE、色度、饱和度作为定量指标进行评估。应用糖尿病视网膜病变(DR)诊断网络对原图及不同算法增强图像进行诊断;并比较其准确度和特异度。结果 CycleGAN算法对模糊、曝光不足、曝光过度3类低质量眼底图像的增强均取得最优效果, 增强后的眼底图像对比度高、色彩丰富, 视盘、血管结构清晰。CycleGAN算法增强的图像清晰度仅次于CLAHE算法;BRISQUE质量分数为0.571, 比CLAHE、DHE和MSRCR算法分别高出10.2%、7.3%和10.0%;色度和饱和度分别为103.03、123.24, 均高于其他算法;该算法增强100张图像仅需35 s, 仅次于CLAHE算法, 在速度上具有明显优势。CycleGAN算法增强的图像在DR诊断中的准确率和特异度分别为96.75%和99.60%, 均较原图有所提高。结论 CycleGAN可有效提升模糊、曝光不足、曝光过度眼底图像的质量, 并有效提高计算机辅助DR诊断系统的准确率, 可能在眼科临床诊断中有很大的应用价值。

• 单位
  南京医科大学; 南京航空航天大学; 电子信息工程学院