一种改进CycleGAN的素描头像彩色化算法

作者：廖振; 林**^*; 黄丹; 胡鑫; 游松; 兰江海; 周旭; 金若水

来源：宜宾学院学报, 2023, 1-9.

• CycleGAN
• 多尺度特征提取
• SENet
• 监督学习
• L_(1)像素损失
• 感知损失

针对现阶段由素描头像生成的彩色头像图像清晰度低、人脸识别率不高和视觉质量不佳等问题，提出一种改进CycleGAN的素描头像彩色化算法：对U-Net自编码器的第一个特征提取模块进行优化，设计一种多尺度自注意力机制特征提取模块，从多个尺度提取输入图像以减少输入图像的细节信息丢失，将提取的特征用通道堆叠的方式进行特征融合，对融合的特征嵌入SENet自注意力机制，以引导模型对特征重点区域的关注度，最后再降低融合特征的通道维数；对生成头像与真实头像添加L1像素损失和感知损失，以进一步提升生成头像的质量。实验结果表明：较基础模型CycleGAN生成的彩色头像，在CUHK数据集FID值降低了22.23、Rank-1值提高了16%，在AR数据集FID值降低了15.34、Rank-1值提高了9.3%。

• 单位
  四川轻化工大学