基于小样本学习和语义信息的图像描述模型

作者：王会勇; 卢超; 张晓明^*

来源：计算机工程, 2021, 47(08): 260-270.

DOI：10.19678/j.issn.1000-3428.0058244

• 图像描述
• 小样本学习
• 知识图谱
• 目标检测
• 循环神经网络

为克服传统图像描述模型只能描述已知对象的问题,结合小样本目标检测器和知识图谱,提出一种新的图像描述模型。小样本目标检测器能够检测出描述模型无法识别的对象,并且给出对象的名称,利用知识图谱提供对象的背景知识,结合对象信息,通过引入注意力机制引导模型选取合适的单词,进而生成包含这些对象的描述语句。实验结果表明,该模型的平均F1值较基线模型提升了6.6个百分点,而且所生成的描述语句的质量在SPICE标准上提高了2.0个百分点,证明该模型所采用的方法是有效的。

• 单位
  河北科技大学