融合全局和局部特征的单幅图像去雨方法

作者：傅博; 王洪光; 宋屹峰

来源：信息与控制, 2023, 52(04): 531-541.

DOI：10.13976/j.cnki.xk.2023.2432

• 计算机视觉
• 深度学习
• 图像恢复
• 特征提取

针对基于卷积神经网络的去雨方法感受野受限的问题，结合Swin Transformer和卷积神经网络各自的优势，提出了一种融合全局和局部特征的单幅图像去雨方法。首先通过卷积神经网络对图像的局部特征进行初步提取；其次通过基于Swin Transformer的多支路网络对不同特征空间内的全局信息进行学习；最后将提取出的多支路全局特征与局部特征进行融合，实现无雨图像的恢复。在多个数据集上与多种主流单幅图像去雨方法进行了对比实验。结果表明，所提方法生成的结果在峰值信噪比和结构相似性指标上都具有一定优势，验证了所提方法在图像去雨任务上的有效性。

• 单位
  中国科学院沈阳自动化研究所; 机器人学国家重点实验室; 中国科学院大学