结合外部知识库与适应性推理的场景图生成模型

作者：王旖旎; 高永彬; 万卫兵; 杨淑群; 郭茹燕

来源：计算机工程, 2022, 48(09): 230-238.

DOI：10.19678/j.issn.1000-3428.0062268

• 场景图
• 视觉关系
• 外部知识库
• 注意力机制
• 适应性推理

为在场景图生成网络中获得重要的上下文信息，同时减少数据集偏差对场景图生成性能的影响，构建一种基于外部知识库与适应性推理的场景图生成模型。利用结合外部知识库的目标检测模块引入语言先验知识，提高实体对关系类别检测的准确性。设计基于Transformer架构的上下文信息提取模块，采用两个Transformer编码层对候选框和实体对关系类别进行处理，并利用自注意力机制分阶段实现上下文信息合并，获取重要的全局上下文信息。构建特征特殊融合的适应性推理模块，通过软化分布并根据实体对的视觉外观进行适应性推理关系分类，缓解实体对关系频率的长尾分布问题，提升模型推理能力。在VG数据集上的实验结果表明，与MOTIFS模型相比，该模型在谓词分类、场景图分类和场景图生成子任务上的Top-100召回率分别提升了1.4、4.3、7.1个百分点，对于多数关系类别具有更好的场景图生成效果。

• 单位
  上海工程技术大学