基于多尺度非局部神经网络的图像去雨方法

作者：张雪岩^*; 庞彦伟

来源：激光与光电子学进展, 2021, 58(14): 188-195.

• 图像处理
• 深度学习
• 图像去雨
• 特征金字塔
• 非局部机制

雨天是一种常见的恶劣天气,雨线会严重影响物体分类、检测和分割等算法的精度。在有雨图像中,不同尺度的雨线具有相似的形状特征,因此可以利用雨线间的互补信息来协同表达雨线特征。通过构建多尺度特征金字塔结构来利用不同雨线间的相似性特征,并设计初始模块、卷积长短期记忆网络(Conv-LSTM)模块、融合模块和重构模块。此外,在融合模块中通过引入轻量的非局部机制来引导雨线特征的精融合和提取。在合成和真实的数据集上进行大量实验,对比近年4种基于深度学习的图像去雨方法,所提方法的峰值信噪比(PSNR)和结构相似性(SSIM)均有提升。实验结果表明,所提方法在保持图像原有信息的同时,能够高效地去除雨线和避免图像模糊。

• 单位
  天津大学