频率引导的双稀疏自注意力单图像去雨算法

作者：文渊博; 高涛^*; 陈婷; 张千禧

来源：电子学报, 2023, 51(10): 2812-2820.

• 计算机视觉
• 图像去雨
• 自注意力网络
• 稀疏注意力
• 空间移位
• 频率引导学习

现有基于自注意力网络Transformer的单图像去雨算法尽管在合成雨图上在取得良好效果，但却造成巨大的计算负担，且无法有效处理真实雨图.对此，本文提出一种频率引导的双稀疏自注意力单图像去雨算法（Frequency-guided Dual Sparse self-Attention TransFormer,FDSATFormer）.首先，该算法利用空间稀疏因子和通道降维因子在提取准确全局信息的同时减少计算量，进而提出双稀疏自注意力特征学习网络（Dual Sparse self-attention Feature Leraning, DSFL）以解决Transformer在高分辨率雨图上难以表征自注意力的问题.其次，该算法通过探究图像去雨前后的频谱变化，提出频率引导的特征增强模块（Frequency-guided Feature Enhancer,FFE），其利用频域的全局信息指导特征编码阶段对空域特征的学习.此外，现有去雨网络的编解码结构采用相近的设计，这导致网络的整体计算负担倍增.对此，本文提出层级特征解码重建网络（Hierarchical Feature Decoding and Reconstructing network,HFDR），其利用无参的空间邻域移位操作（Spatial Neighborhood Shift,SNS）构建特征解码网络，在取得良好效果的同时进一步减少整体的计算负担.实验表明，相比表现优秀的Uformer和Restormer，本文算法所得结果的平均峰值信噪比分别提升3.13 dB和0.12 dB，平均结构相似性分别提升1.39%和1.07%.