融合自注意力机制的人物姿态迁移生成模型

作者：赵宁; 刘立波^*

来源：激光与光电子学进展, 2022, 59(04): 190-199.

• 图像处理
• 深度学习
• 生成对抗网络
• 图像生成
• 自注意力机制

针对人物姿态迁移生成图像存在纹理细节丢失、姿态转移不合理等问题，提出一种融合自注意力机制的人物姿态迁移生成模型。首先，在两阶段姿态迁移生成模型的基础上，通过把改进的自注意力模块嵌入到生成对抗网络中，降低相似特征间的相互影响，强化对纹理细节的学习能力及丰富信息的捕获能力，增强姿态特征的显著性建模。然后，使用马尔可夫判别模型，进一步增强对生成图像细节的鉴别能力。最后，采用优化的内容损失函数，约束整个模型的图像特征信息损失计算，促进生成图像与真实图像语义内容一致性，加强姿态转移的合理性。实验验证，本模型在Deepfashion数据集上比PG2方法的IS值与SSIM值分别提升了0.388和0.032，在Market-1501数据集上比PG2方法的IS值与SSIM值分别提升了0.036和0.065，改善了图像生成质量。