基于退化四元数注意力机制的轻量化Transformer去雨网络

作者：熊贡鹤; 陈飞龙; 孙成立; 郭桥生

来源：计算机工程与应用, 2023, 1-9.

• 图像去雨
• 退化四元数网络
• Transformer
• 轻量化

现有主流图像去雨方法专注于提升去雨性能，而忽略了网络计算开销过大的问题。少数轻量化网络的研究只局限于修改网络结构来简化网络计算。针对上述问题，利用退化四元数可以获得更多图像先验信息的特性提出了一个基于退化四元数图像去雨网络。网络使用退化四元数Swin-Transformer块（Reduced Biquaternion Swin-Transformer Block，RQSTB）作为主要特征提取模块。其中设计了使用基于退化四元数多头注意力机制的Transformer块提取全局特征信息，同时穿插使用退化四元数多尺度卷积模块提取局部多尺度特征信息，用以弥补Transformer缺乏卷积神经网络自带的一些归纳偏置的缺陷。经实验证明，该方法在网络参数和计算复杂度方面都优于很多现有的图像去雨方法，并且在去雨性能方面也达到了先进的水平，无论是从定量还是定性的指标来看，都展现了显著的效果。