基于生成对抗网络的人像修复

作者：袁琳君; 蒋旻^*; 罗敦浪; 江佳俊; 郭嘉

来源：计算机应用, 2020, 40(03): 842-846.

DOI：10.11772/j.issn.1001-9081.2019071283

• 人像姿态信息
• 生成对抗网络
• 图像修复
• 姿态掩码
• 人像姿态损失

人像修复广泛用于基于图像渲染和计算摄影的照片编辑。针对衣着的不同、高矮胖瘦的区别以及姿态的高自由度等因素给人像修复带来的困难,提出了一种基于生成对抗网络(GAN)的高效人像修复方法。算法分为两阶段:第一阶段基于编码器-解码器网络粗略修复图像,然后估计其中人体姿态信息;第二阶段基于姿态信息和GAN来精确修复人像。利用人像姿态信息来连接人像姿态关键点,形成姿态框架并执行膨胀操作,得到人像姿态掩码,以此构造人像姿态损失函数进行网络训练。实验结果表明,与Contextual Attention修复方法相比,所提方法的修复结果在结构相似度(SSIM)上提升了1%。该方法将人像姿态信息加入到修复过程中,有效地约束了待修复区域人像数据的解空间范围,加强了网络对人像姿态信息的关注程度。

• 单位
  智能信息处理与实时工业系统湖北省重点实验室; 武汉科技大学