基于依存句法的可解释图像描述生成

作者：刘茂福; 毕健旗; 周冰颖; 胡慧君

来源：计算机研究与发展, 2022, 1-12.

• 图像描述生成
• 依存句法
• 可解释性
• 多任务学习
• IDSTM

已有图像描述生成模型虽可以检测与表示图像目标实体及其视觉关系，但没有从文本句法关系角度关注模型可解释性.因而，提出基于依存句法的可解释图像描述生成模型（interpretable image captioning by dependency syntax triplets modeling， IDSTM），以多任务学习的方式生成依存句法三元组序列和图像描述.IDSTM模型首先通过依存句法编码器从输入图像获得潜在的依存句法特征，并与依存句法三元组及文本词嵌入向量合并输入单层长短期记忆网络（long short-term memory， LSTM），生成依存句法三元组序列作为先验知识；接着，将依存句法特征输入到图像描述编码器中，提取视觉实体词特征；最后，采用硬限制和软限制2种机制，将依存句法和关系特征融合到双层LSTM，可解释地生成图像描述.通过依存句法三元组序列生成任务，IDSTM在未显著降低生成的图像描述精确度的前提下，提高了其可解释性.本文还提出了用于评测依存句法三元组序列生成质量的评价指标B1-DS (BLEU-1-DS)， B4-DS (BLEU-4-DS)， M-DS (METEOR-DS)，在MSCOCO数据集上的实验验证了IDSTM的有效性和可解释性.

• 单位
  武汉科技大学