科研之友
微信
新浪微博
Facebook
分享链接
摘要
针对视觉Transformer对高频信息捕捉能力弱以及目前许多图像去雨方法易丢失细节的问题，提出小波分频自注意力Transformer图像去雨网络（WFDST-Net）。小波分频自注意力Transformer（WFDST）作为WFDST-Net的主要模块，其利用不可分提升小波变换获取特征图的低频分量和高频分量，分别在低频和高频中进行自注意力交互，使模块从低频中学习恢复全局结构的能力，在高频中强化捕捉雨纹等线条细节的能力，增强对不同频域特征的建模能力。WFDST-Net采用U形架构并通过不可分提升小波变换获取多尺度特征，可在捕获不同形状高频雨纹的同时保证信息的完整性。相比其他图像去雨相关的Transformer，WFDST-Net具有更低的参数量。此外，提出VOCRain250数据集用于联合图像去雨和语义分割任务，该数据集比目前广泛使用的BDD150更具优势。实验表明，所提方法增强了视觉Transformer对不同频域信息的捕获能力，并在合成和真实数据集以及VOCRain250中的表现优于目前先进的去雨方法，能有效去除复杂雨纹并保留更多细节特征。代码地址https://github.com/fashyon/WFDST-Net。
- 单位
