基于混合生成对抗网络的多视角图像生成算法

作者：卫星; 李佳; 孙晓^*; 刘邵凡; 陆阳

来源：自动化学报, 2021, 47(11): 2623-2636.

DOI：10.16383/j.aas.c190743

• 深度学习
• 计算机视觉
• 图像翻译
• 多视角图像生成

多视角图像生成即基于某个视角图像生成其他多个视角图像,是多视角展示和虚拟现实目标建模等领域的基本问题,已引起研究人员的广泛关注.近年来,生成对抗网络(Generative adversarial network, GAN)在多视角图像生成任务上取得了不错的成绩,但目前的主流方法局限于固定领域,很难迁移至其他场景,且生成的图像存在模糊、失真等弊病.为此本文提出了一种基于混合对抗生成网络的多视角图像生成模型ViewGAN,它包括多个生成器和一个多类别判别器,可灵活迁移至多视角生成的多个场景.在ViewGAN中,多个生成器被同时训练,旨在生成不同视角的图像.此外,本文提出了一种基于蒙特卡洛搜索的惩罚机制来促使每个生成器生成高质量的图像,使得每个生成器更专注于指定视角图像的生成.在DeepFashion, Dayton, ICG Lab6数据集上的大量实验证明:我们的模型在Inception score和Top-k accuracy上的性能优于目前的主流模型,并且在结构相似性(Structural similarity, SSIM)上的分数提升了32.29%,峰值信噪比(Peak signal-to-noise ratio, PSNR)分数提升了14.32%, SD (Sharpness difference)分数提升了10.18%.

• 单位
  合肥工业大学