基于图注意力网络的全局图像描述生成方法

作者：隋佳宏; 毛莺池^*; 于慧敏; 王子成; 平萍

来源：计算机应用, 2023, 43(05): 1409-1415.

• 网格特征
• 图注意力网络
• 卷积神经网络
• 图像描述生成
• 全局特征

现有图像描述生成方法仅考虑网格的空间位置特征，网格特征交互不足，并且未充分利用图像的全局特征。为生成更高质量的图像描述，提出一种基于图注意力网络（GAT）的全局图像描述生成方法。首先，利用多层卷积神经网络（CNN）进行视觉编码，提取给定图像的网格特征和整幅图像特征，并构建网格特征交互图；然后，通过GAT将特征提取问题转化成节点分类问题，包括一个全局节点和多个局部节点，更新优化后可以充分利用全局和局部特征；最后，基于Transformer的解码模块利用改进的视觉特征生成图像描述。在Microsoft COCO数据集上的实验结果表明，所提方法能有效捕捉图像的全局和局部特征，在CIDEr(Consensus-based Image Description Evaluation)指标上达到了133.1%。可见基于GAT的全局图像描述生成方法能有效提高文字描述图像的准确度，从而可以使用文字对图像进行分类、检索、分析等处理。

• 单位
  河海大学; 中国电建集团昆明勘测设计研究院有限公司