科研之友
微信
新浪微博
Facebook
分享链接
摘要
现有的基于学习的单幅图像去雨网络大都关注雨天图像中雨痕对于视觉成像的影响，而忽略了雨天环境下由于空气中湿度的增加所产生的雾气对视觉成像的影响，因此造成去雨后图像的生成质量低、纹理细节信息模糊等问题。针对该问题，提出了一种非对称端到端的无监督图像去雨网络模型，该模型主要包含三个子网络：雨雾去除网络、雨雾特征提取网络和雨雾生成网络，并由它们组成两个不同数据域映射转换模块：雨域到无雨域的转换（Rain-Clean-Rain）和无雨域到雨域的转换（Clean-Rain-Clean）。上述三个子网络构成并行的两条转换路径：去雨路径和雨雾特征提取路径。在雨雾特征提取路径上，提出一种基于全局和局部注意力机制的雨雾感知提取网络，利用雨雾特征存在的全局自相似性和局部差异性学习雨-雾相关特征；在合成雨路径上，引入雨天图像退化模型和上述提取的雨雾相关特征作为先验知识以增强雨雾图像生成的能力，从而约束雨雾去除网络，提高其从雨天数据域到无雨数据域的映射转换能力。在不同雨天图像数据集上的大量实验表明，与最先进的去雨方法 CycleDerain相比，在合成雨雾数据集上所提方法的峰值信噪比（PSNR）提升了5.88dB，能适应不同的雨天场景，具有更好的泛化性，并且能更好地复原图像的细节和纹理信息。
- 单位
