结合时空特征和视觉感知的全参考视频质量评价

作者：刘聪; 孔广黔^*; 段迅; 吴云

来源：计算机应用研究, 2023, 40(07): 2198-2222.

DOI：10.19734/j.issn.1001-3695.2022.11.0631

• 深度学习
• 全参考视频质量评价
• 时空特征
• transformer

视频失真主要来源于空间和时间失真导致的视频质量退化。针对这两种视频质量退化，提出了一种结合时空特征和视觉感知的全参考视频质量评价方法STPFVQA。首先，使用ResNet50卷积网络从参考视频和失真视频中提取空间感知特征；其次将提取的空间感知特征送入transformer编解码器中，用来构建视频的序列化关系，同时对比参考视频和失真视频，探索失真对视频序列关系造成的影响；然后将transformer的输出送入预测头，形成帧级分数；最后为了模拟人类视觉系统感知的滞后性，从短期、长期和全局记忆效应来综合考虑获得最终的视频质量分数。为了验证方法的可行性，在LIVE、IVC-IC、CSIQ和IVPL四个公开数据集上进行了实验。实验结果表明提出模型更符合人类视觉系统感知情况。在IVC-IC和CSIQ数据集上相比最先进的序列依赖模型(serial dependence modeling, SDM),SROCC评价指标分别高出2.6%和3.1%,KROCC评价指标高出6.1%和7.9%,PLCC评价指标高出2.3%和5.5%。

• 单位
  贵州大学