标签增强的中文看图造句

作者：蓝玮毓; 王晓旭; 杨刚; 李锡荣^*

来源：计算机学报, 2019, 42(01): 136-148.

• 图像句子生成
• 中文模型
• 中文标签预测
• 深度学习
• 机器翻译

图像数据飞速增多,而计算机与人对图像数据的理解间存在语义鸿沟.如何有效地理解、管理和组织图像数据是学术界和工业界面临的一个重大挑战.利用计算机自动生成能够描述图像内容的自然语言描述有助于弥合语义鸿沟,从而提升对图像数据的理解.现有工作致力于英文句子生成.与之不同的是,该文实现了一个面向中文的看图造句系统.通过大规模机器翻译克服了中文训练数据缺乏的问题,同时提出了结合中文标签自动预测,对深度模型预测句子进行重排序的增强方法,改善句子生成质量.在两个中文图像句子数据集Flickr8k-cn和Flickr30k-cn上的实验表明,该文提出的标签增强方法可以有效改善现有两种看图造句模型(Google模型和Attention模型)所生成句子的质量.标签增强使得Google模型在Flickr8k-cn测试集上的CIDEr指标从0.474提高到0.503,Flickr30k-cn测试集上的CIDEr指标从0.325提高到0.356.通过标签增强,Attention模型在这两个数据集上的CIDEr分别从0.510提高到0.536,从0.392提高到到0.411.

• 单位
  中国人民大学; 数据工程与知识工程教育部重点实验室