基于GAN的视频流超分辨率方法设计与实现

作者：李耀兵; 李赟; 李俊

来源：无线电工程, 2021, 51(11): 1208-1213.

• 生成对抗网络
• 超分辨率
• 相邻帧对齐
• 相邻帧融合

针对多帧图像超分辨率相邻帧之间的对齐和融合问题,对生成对抗网络(Generative Adversarial Networks, GAN)强大的内容生成能力进行了分析,提出了一种基于GAN的视频流超分辨率方法。在超分辨率GAN的基础上,通过特征金字塔、级联和可变形卷积结构的对齐算法,以及基于时间和空间注意力机制的融合算法来优化超分辨率GAN的生成器部分,解决多帧图像超分辨率中的相邻帧信息之间的对齐,以及相邻帧之间的融合的问题。同时保留了超分辨率GAN的判别器部分,可以使生成器生成更多的内容细节。