基于图像识别的跨模态实体链接模型

作者：陈烨; 周刚^*; 章梦礼; 朱秀宝; 黄宁博

来源：计算机应用研究, 2022, 39(05): 1422-1431.

DOI：10.19734/j.issn.1001-3695.2021.11.0464

• 知识图谱
• 图像识别
• 跨模态
• 实体链接

提出了一个基于图像识别的跨模态实体链接模型。首先，利用人机交互的图像目标截取模块实现图像目标指代，支持多目标图像的输入，将复杂的目标检测任务简化为图像识别分类任务。然后，设计了一个基于轻量快速的MobileNetV2网络训练的图像识别模块，在自建目标图像数据集环境下进行测试。实验结果验证了该模型能够减小模型规模，降低对硬件的要求，通过有监督的数据增强，在少样本训练条件下达到了94.06%的识别准确度，缓解了数据缺乏的问题。最后，进一步借助模型输出的目标实体命名标签，完成跨模态实体链接任务，能够有效支撑图像输入条件下的知识图谱问答任务。

• 单位
  信息工程大学