基于Transformer的多方面特征编码图像描述生成算法

作者：衡红军; 范昱辰^*; 王家亮

来源：计算机工程, 2023, 49(02): 199-205.

DOI：10.19678/j.issn.1000-3428.0064450

• 图像描述
• 转换窗口
• 多头注意力机制
• 多模态任务
• Transformer编码器

由目标检测算法提取的目标特征在图像描述生成任务中发挥重要作用，但仅使用对图像进行目标检测的特征作为图像描述任务的输入会导致除关键目标信息以外的其余信息获取缺失，且生成的文本描述对图像内目标之间的关系缺乏准确表达。针对上述不足，提出用于编码图像内目标特征的目标Transformer编码器，以及用于编码图像内关系特征的转换窗口Transformer编码器，从不同角度对图像内不同方面的信息进行联合编码。通过拼接方法将目标Transformer编码的目标特征与转换窗口Transformer编码的关系特征相融合，达到图像内部关系特征和局部目标特征融合的目的，最终使用Transformer解码器将融合后的编码特征解码生成对应的图像描述。在MS-COCO数据集上进行实验，结果表明，所构建模型性能明显优于基线模型，BLEU-4、METEOR、ROUGE-L、CIDEr指标分别达到38.6%、28.7%、58.2%和127.4%，优于传统图像描述网络模型，能够生成更详细准确的图像描述。

• 单位
  中国民航大学