基于单阶段生成对抗网络的文本生成图像方法

作者：杨冰; 那巍; 向学勤

来源：浙江大学学报(工学版), 2023, 57(12): 2412-2420.

• 文本生成图像
• 注意力机制
• 对比损失
• 语义一致性
• 动态卷积

为了提高生成图像质量，提出新的文本生成图像方法，整体框架采用单阶段文本生成图像主干.在原有模型只使用句子信息生成图像的基础上，使用注意力机制把单词信息融入图像特征，采用合理地融入更多文本信息的方式提高生成图像的质量.引入对比损失，使相同语义图像之间更加接近，不同语义图像之间更加疏远，从而更好地保证文本与生成图像之间的语义一致性.在生成器中采用动态卷积来增强生成器的表达能力.实验结果表明，所提方法在数据集CUB(Fréchet inception distance(FID)从12.10提升到10.36)和数据集COCO(FID从15.41提升到12.74)上都获得了较好的性能提升.

• 单位
  杭州电子科技大学