基于生成对抗网络的糖尿病视网膜病变眼底图像生成

作者：万程; 周鹏; 吴陆辉; 吴一全; 沈建新; 叶辉^*

来源：中华实验眼科杂志, 2019, (08).

• 生成对抗网络
• 眼底图像
• 图像生成
• 卷积神经网络

目的 利用计算机视觉算法自动生成各种类型的糖尿病视网膜病变(DR)眼底图像。方法 提出一种基于生成对抗网络(GAN)的眼底图像生成方法。该方法以眼底图像的血管脉络图像和病灶点的文字描述作为生成的约束条件,对文字使用长短记忆网络(LSTM)进行编码,血管脉络图像用卷积神经网络(CNN)进行编码,对二者信息合并,再使用生成对抗网络生成眼底图像。结果 模型生成的眼底图像中包含清晰的视盘、血管、黄斑等特征,但是由于文字编码的循环神经网络(RNN)损失函数不能很好地收敛,所以生成图像细节特征不明显。结论 使用GAN可以生成逼真的DR眼底图像,在扩充医疗数据方面具有一定的应用价值,但在小区域细节特征的生成方面仍需改进。

• 单位
  电子信息工程学院; 南京航空航天大学; 江苏省人民医院