联合图像域间和域内信息建模的图像风格转换

作者：甘益波; 谭智一^*; 鲍秉坤

来源：计算机辅助设计与图形学学报, 2022, 34(10): 1489-1496.

• 图像风格转换
• 生成对抗网络
• 残差连接
• 注意力机制

针对当前图像风格转换算法缺乏建模图像域间语义信息和域内长范围信息的能力,提出了一种联合图像域间和域内信息建模的图像风格转换算法SSC-GAN.通过提出语义残差连接,提取图像域内的语义特征,增强模型建模图像域间语义信息差异的能力;同时,将注意力机制引入图像风格转换任务中,解决卷积缺乏图像域内长范围信息建模能力的问题.SSC-GAN可以在不增加计算量的情况下,显著提升图像风格转换的表现.在图像风格转换数据集vangh2photo和selfie2anime上对SSC-GAN进行训练、评估和验证,结果表明,SSC-GAN不仅能取得极佳的视觉效果,而且在FID和KID指标上分别平均下降了1.3和1.1,证明了SSC-GAN的有效性.

• 单位
  南京邮电大学; 通信与信息工程学院