递归式多阶特征融合图像超分辨率算法

作者：佟骏超; 费加罗; 陈靖森; 李恒; 丁丹丹^*

来源：中国图象图形学报, 2019, 24(02): 302-312.

• 图像超分辨率
• 卷积神经网络
• 特征融合
• 递归神经网络
• 残差学习

目的近年来,卷积神经网络在解决图像超分辨率的问题上取得了巨大成功,不同结构的网络模型相继被提出。通过学习,这些网络模型对输入图像的特征进行抽象、组合,进而建立了从低分辨率的输入图像到高分辨率的目标图像的有效非线性映射。在该过程中,无论是图像的低阶像素级特征,还是高阶各层抽象特征,都对像素间相关性的挖掘起了重要作用,影响着目标高分辨图像的性能。而目前典型的超分辨率网络模型,如SRCNN (super-resolution convolutional neural network)、VDSR (very deep convolutional networks for super-resolution)、Lap SRN (Lapla-cian pyramid super-resolution networks)等,都未充分利用这些多层次的特征。方法提出一种充分融合网络多阶特征的图像超分辨率算法:该模型基于递归神经网络,由相同的单元串联构成,单元间参数共享;在每个单元内部,从低阶到高阶的逐级特征被级联、融合,以获得更丰富的信息来强化网络的学习能力;在训练中,采用基于残差的策略,单元内使用局部残差学习,整体网络使用全局残差学习,以加快训练速度。结果所提出的网络模型在通用4个测试集上,针对分辨率放大2倍、3倍、4倍的情况,与深层超分辨率网络VDSR相比,平均分别能够获得0. 24 d B、0. 23 d B、0. 19 d B的增益。结论实验结果表明,所提出的递归式多阶特征融合图像超分辨率算法,有效提升了性能,特别是在细节非常丰富的Urban100数据集上,该算法对细节的处理效果尤为明显,图像的客观质量与主观质量都得到显著改善。

• 单位
  杭州师范大学