体现用户意图和风格的图像描述生成

作者：王宇航; 张灿龙^*; 李志欣; 王智文

来源：广西师范大学学报(自然科学版), 2022, 40(04): 91-103.

DOI：10.16088/j.issn.1001-6600.2021101803

• 图像描述
• 用户画像
• 细粒度场景控制
• 风格控制
• 注意力机制

现有的图像描述模型大多不能根据用户的意图和用语风格生成个性化的描述。针对这一问题，本文提出一种能体现用户意图和风格的个性化图像描述方法。首先，构建一个关于场景中目标、目标属性以及目标间关系的结构图，通过该图来控制用户所希望表达的目标对象、目标属性以及各目标之间的相互关系；然后，在编码器中加入多关系图卷积神经网络对场景的上下文信息进行编码，并利用图流动注意力来控制描述的侧重点；最后，在生成语句时加入用户风格控制模块，即利用关键词搜索生成包含性别、年龄、受教育程度等信息的用户画像，并结合该画像来控制风格生成器，提取对应的风格样式，最终生成体现用户意图和风格的个性化图像描述。在MSCOCO和FlickrStyle数据集上的实验结果表明，所提出的方法能较好地生成个性化和多样性图像描述语句。

• 单位
  广西师范大学; 广西科技大学