基于Transformer和多尺度CNN的图像去模糊

作者：李现国; 李滨

来源：计算机工程, 2023, 49(09): 226-245.

DOI：10.19678/j.issn.1000-3428.0065513

• 图像去模糊
• 多尺度卷积神经网络
• Transformer编码器
• 多头自注意力
• 增强前馈网络

卷积神经网络(CNN)单独应用于图像去模糊时感受野受限，Transformer能有效缓解这一问题但计算复杂度随输入图像空间分辨率的增加呈2次方增长。为此，提出一种基于Transformer和多尺度CNN的图像去模糊网络(T-MIMO-UNet)。利用多尺度CNN提取空间特征，并嵌入Transformer全局特性捕获远程像素信息。设计局部增强Transformer模块、局部多头自注意力计算网络和增强前馈网络，采用窗口的方式进行局部逐块多头自注意力计算，通过增加深度可分离卷积层，加强不同窗口之间的信息交互。在GoPro测试数据集上的实验结果表明，T-MIMO-UNet的峰值信噪比相比于MIMO-UNet、DeepDeblur、DeblurGAN、SRN网络分别提升了0.39 dB、2.89 dB、3.42 dB、1.86 dB，参数量相比于MPRNet减少了1/2，能有效解决动态场景下的图像模糊问题。

• 单位
  天津工业大学