基于半监督学习的单幅图像去雨算法

作者：邱永茹; 姚光乐; 冯杰; 崔昊宇

来源：计算机应用, 2021, 1-7.

• 单幅图像去雨
• 半监督学习
• 多尺度网络
• 深度学习
• 密集残差连接

在雨天采集的图像通常存在背景物体被雨纹遮挡、图像变形等影响图像质量的现象，从而对后续图像分析及应用造成严重影响。近年来，已经提出了许多基于深度学习的去雨算法并获得了巨大的成功，但由于真实雨图的无雨纹干净背景图采集非常困难，大多数算法都采用监督学习即在含有配对标签的合成雨图数据集上进行模型训练。然而，由于合成雨图和真实雨图中雨纹的亮度、透明度、形状等存在巨大差异，基于监督学习的去雨算法对真实雨图的泛化能力普遍较差。因此，为提高去雨模型在真实雨图的去雨效果，提出一种基于半监督学习的单幅图像去雨算法，在模型训练过程中加入合成雨图和真实雨图并最小化二者雨纹的一阶信息和二阶信息差异。同时，针对雨纹复杂多样的特点，引入多尺度网络以获取更丰富的图像特征，提高模型性能。实验结果表明，所提算法不仅在Rain100H合成雨图测试集比JDNet（Joint Network）、Syn2Real （Synthetic-to-Real Transfer Learning）等算法在指标峰值信噪比（PSNR）和结构相似度（SSIM）上分别至少提升了0.66dB、0.01，在去除雨纹的同时能最大限度保留图像细节和颜色信息；而且在真实雨图测试集去雨效果明显优于现有JDNet、Syn2Real等去雨算法，具有较强的泛化能力；并且可以应用于现有基于监督学习的去雨算法并显著提高其去雨效果，拥有较高独立性。

• 单位
  成都理工大学