不稳定传输中受损视频的低延迟修复方法（英文）

作者：魏俣童; 鲍秉坤; 张子祺; 朱进^*

来源：中国科学技术大学学报, 2021, 51(10): 717-786.

• 视频修复
• 不稳定传输
• 部分卷积神经网络
• 线性预测

视频流量已逐渐成为移动流量的重要组成部分,而不稳定传输中的视频缺损却仍然是一个亟待解决的问题.这种类型的视频缺损往往带有完全随机的特性,很难对其进行低延迟并且高精度的修复.我们率先关注了该不稳定传输中视频修复的任务,并提出了一种低延迟的视频修复方法,该方法包括两个阶段:在粗略修复阶段,先从参考帧中提取受损的二维光流图,再建立线性预测模型,根据运动在时间维度的连续性,来对受损帧进行初步的粗略修复.在精细修复阶段,提出了一个部分卷积神经网络(PCFC-Net),用于对所有参考信息进行综合并计算精细修复的结果.与基线相比,该方法在DAVIS数据集上的参考帧等待时间大大减少,同时PSNR和SSIM也提高了4.0%～12.7%.

• 单位
  通信与信息工程学院; 南京邮电大学; 中国科学技术大学