结合时序网络和金字塔融合的稳像修复方法

作者：刘清; 李世超; 王文杉; 师文喜; 成科扬^*

来源：图学学报, 2021, 42(01): 65-70.

• 视频稳像
• 视频图像修复
• 时序网络
• 金字塔融合
• 最佳缝合线

针对视频稳像领域内视频图像缺损填充效果不佳,严重影响视觉效果,且导致稳像处理后的视频不稳的黑边填充问题,提出了一种基于时序网络预测和金字塔融合的图像修复方法。首先结合预裁剪机制自适应判断当前帧是否需修复;然后将截止至当前时刻的所有帧送入卷积神经网络(CNN)和门控循环单元(GRU)的模型进行待填充部分的预测;随后采用改进的加权最佳缝合线进行拼接并在高斯拉普拉斯金字塔中进行图像融合重构;最终在重构完成后裁剪尺寸。实验结果表明,该方法平均峰值信噪比(PSNR)相较于对比算法提高了2～5dB,平均结构相似度(SSIM)较对比算法提升了约2%～7%。该方法修复后的视频缺损填充自然,视觉效果较为稳定,即使在黑边面积较大时也有良好的修复效果,可用于多种摄像平台及不同场景下。

• 单位
  江苏大学