级联跨域特征融合的虚拟试衣

作者：胡新荣; 张君宇; 彭涛^*; 刘军平; 何儒汉; 何凯

来源：计算机应用, 2022, 42(04): 1269-1274.

• 虚拟试衣
• 注意力机制
• 特征融合
• 遮挡处理
• 级联
• 跨域特征融合

基于图像合成蒙版策略的虚拟试衣技术在扭曲服装和人体融合时能较好地保留服装细节。然而由于在试衣过程中人体和服装的位置和结构难以对齐，试衣结果容易产生严重的遮挡，影响视觉效果。为解决试衣过程中的遮挡问题，提出了一种基于U-Net的生成器。该生成器在U-Net解码器上添加级联的空间和通道注意力模块，从而实现了着装人体的局部特征和扭曲服装的和全局特征的跨域融合。形式上，首先采用卷积网络预测薄板样条插值（TPS）变换的方法将服装根据目标人体姿态进行扭曲；然后，将着装人体解析信息和扭曲服装输入到提出的生成器中，并获取对应服装区域的掩码图像以渲染中间结果；最后，采用掩码合成的策略来通过掩码处理将扭曲服装与中间结果合成得到最终的试衣结果。实验结果表明，所提方法不仅可以减少遮挡，而且增强了图像细节，相较于CP-VTON方法，产生的图像的平均峰值信噪比（PSNR）提高了10.47%，平均FID减小了47.28%，平均结构相似性（SSIM）提高了4.16%。

• 单位
  武汉纺织大学