一种改进的全局注意机制图像描述方法

作者：马书磊; 张国宾; 焦阳^*; 石光明

来源：西安电子科技大学学报, 2019, 46(02): 17-22.

DOI：10.19665/j.issn1001-2400.2019.02.004

• 图像描述
• 注意力机制
• 全局特征
• 卷积神经网络
• 循环神经网络

针对现有基于注意机制的图像描述方法全局信息缺失问题,提出了一种改进的全局注意机制图像描述方法。该方法在注意机制的基础上,通过设计全局特征网络来模拟人类感知机制的全过程,对图像全局特征进行增强。将所提方法在相同数据集和网络超参数的情况下与目前最优网络进行实验对比,分析了全局信息对生成文本的影响。实验结果显示,文中提出的方法在更具挑战性的中文文本描述任务上客观评价指标优于目前最优的模型。同时,在主观评价中能够生成更准确的文本内容,也更具丰富性与多样性,接近自然语言描述。

• 单位
  西安电子科技大学; 中国电子科技集团公司第二十七研究所