发掘和利用：细粒度层次化网络的文本到图像生成

作者：申恒涛; 赵启轲; 朱俊臣; 高联丽; 陈岱渊; 宋井宽^*

来源：中国科技论文, 2023, 18(03): 238-244.

• 跨模态生成
• 文本到图像生成
• 生成对抗网络
• 层次化网络
• 多维度文本特征提取器

针对现有文本到图像生成(text-to-image synthesis, T2I)方法采用冗余的阶段性网络结构，同时缺乏对文本特性有效利用从而影响网络完全收敛的问题，提出了一种细粒度的层次化生成对抗网络(generative adversarial networks, GAN)。该网络利用多维度文本特征提取器充分地“发掘”(explore)文本语义特征；通过堆叠层次化模块，即空间仿射生成模块和累加结合模块，更好地“利用”(exploit)主干网络的生成性能。在3个基准数据集上的实验充分表明，所提方法在量化指标和可视化效果方面均显著领先于现有方法。实现代码已经公开在https://github.com/qikizh/EE-GAN。

• 单位
  电子科技大学; 之江实验室