科研之友
微信
新浪微博
Facebook
分享链接
摘要
现有的视频超分辨率重建方法虽然对提高视频分辨率取得了良好效果，但是很多方法没有充分考虑视频帧间运动时间域与空间域的关联性。针对这个问题，提出一种融合时间和空间域的视频超分辨率重建模型VTSSR,用于在同一个网络模型中同时对视频进行时间和空间域超分辨率重建。该模型使用卷积层和多个残差块对低帧率、低分辨率视频进行特征提取，通过特征插值生成中间帧的特征图，采用改进的基于自注意力机制模块同时融合特征图时间和空间信息，采用亚像素卷积上采样重建得到高帧率的高分辨率视频。VTSSR模型在Vid4数据集测试表明，其能够克服光流预测难以处理遮挡、复杂运动的局限性，还能解决不同相邻帧对于关键帧重建贡献不同的问题，提高了视频超分辨率重建水平。
