科研之友
微信
新浪微博
Facebook
分享链接
摘要
灰度视频彩色化是一个极具挑战性的问题。针对现有视频彩色化方法难以同时保证着色质量和时间一致性的问题，提出一种结合注意力机制和多尺度特征融合的视频彩色化方法 AMVC-GAN。首先，提出以GAN为主体的视频彩色化网络模型，通过在GAN的生成器中设计以循环时间网络为主体的多尺度特征融合模块，来获取不同时间频率的信息；其次，为了有效地考虑相邻帧之间的关系，将不同时间频率提取的特征进行融合，加强帧与帧之间的联系，以此增强彩色化的时间一致性；最后，为了获取更多的有效信息，在主网络的上采样部分引入了注意力模块，并通过使用PatchGAN来对结果进行优化训练，以增强最终的着色效果。在DAVIS和VIDEVO数据集上与最先进的全自动视频彩色化方法进行对比实验，结果表明，AMVC-GAN在多项指标上排名第一，具有更好的时间一致性和着色效果。相比于其他方法，AMVC-GAN能够有效地减少时间闪烁，同时保证着色效果更为真实、自然。
- 单位
